Aggiungi come fonte preferita su Google
Il traffico generato dai bot sta diventando una parte sempre più importante del web e una preoccupazione sempre maggiore per chiunque gestisca un sito web. Ciò è stato confermato dall’analisi di Kinsta su oltre 10 miliardi di richieste in un anno, in cui il traffico generato dai bot basati sull’intelligenza artificiale è aumentato di circa il 300%.
Con l’aumento del traffico automatizzato, la gestione dei bot dovrebbe essere proattiva ogni volta che è possibile, prima che attività insolite compromettano le prestazioni del sito o consumino risorse eccessive. Ma questo non significa bloccare tutti i bot. Alcuni tipi di traffico automatizzato, come i crawler di ricerca e gli strumenti di monitoraggio, sono utili, mentre altri bot possono consumare risorse senza essere attivamente dannosi.
All’estremo opposto, alcuni tipi di traffico generato dai bot possono creare gravi problemi di prestazioni o sicurezza e devono essere bloccati rapidamente. La sfida sta nel capire con cosa hai a che fare e scegliere la risposta giusta.
Meglio pianificare che farsi prendere dal panico
La risposta migliore non è farsi prendere dal panico o bloccare tutto. Puoi invece seguire questo processo ripetibile:
- Valuta l’impatto. Cerca di capire cosa sta succedendo e quale traffico ne è responsabile.
- Stabilizza rapidamente il sito, se necessario.
- Elabora un piano di gestione a lungo termine decidendo cosa consentire, mettere in discussione o bloccare.
- Monitora i risultati, perfeziona il piano se necessario e documenta tutto per il futuro.
Vediamo tutto questo più nel dettaglio. Alla fine, ti forniremo una checklist che potrai utilizzare.
1. Cosa sta succedendo: si tratta di un problema legato ai bot o di un vero e proprio attacco?
Prima di intraprendere qualsiasi azione riguardo al traffico dei bot, è importante capire cosa sta succedendo sul sito:
- Il sito sta affrontando normali problemi legati ai bot che, pur essendo importanti da gestire in modo proattivo, non costituiscono emergenze gravi?
- Il sito è attivamente sotto attacco da parte di un malintenzionato? Oppure, anche se non si tratta di un’azione intenzionalmente dannosa, c’è un tipo specifico di traffico automatizzato che sta consumando troppe risorse e causando problemi gravi?
Se stabilisci che si tratta di un attacco deliberato, o di qualche altro tipo di problema grave, la tua priorità assoluta dovrebbe essere quella di stabilizzare il sito il più rapidamente possibile. Di seguito ti spieghiamo come farlo.
Tuttavia, anche se il traffico dei bot sul sito non è un problema in questo momento, è comunque meglio gestire i bot in modo proattivo piuttosto che reattivo. Questo approccio permette di occuparti dei bot prima che inizino a influenzare il traffico legittimo del sito.
L’analisi del traffico dei bot di Kinsta può aiutarti a capire quali tipi di bot stanno colpendo le diverse parti del sito. Puoi usare queste informazioni per capire cosa sta succedendo e come gestire i diversi tipi di traffico dei bot.
La tabella Suddivisione delle richieste ti mostra il traffico verso il tuo sito suddiviso per diverse categorie:
- Probabilmente umani
- Bot verificati (come verificato da Cloudflare)
- Probabilmente bot
- Crawler AI
- Crawler AI con frequenza eccessiva
- Traffico non classificato
- Traffico automatizzato
- Traffico dannoso
- Regole personalizzate configurate da Kinsta per il tuo sito
- Automazioni WP
Se scorri verso il basso fino alla casella Traffico principale, puoi vedere i percorsi principali, gli user agent, i paesi e gli IP per le diverse classificazioni del traffico.
Qui puoi vedere quali tipi di bot — e persino quali bot specifici — stanno accedendo alle diverse sezioni del tuo sito. Usa queste informazioni per capire se il tuo sito sta ricevendo traffico bot legittimo o se è vittima di qualche tipo di attacco dannoso.
Il sito è sotto pressione?
Capire se il tuo sito è sotto pressione o meno è uno dei fattori più importanti per valutare la gravità della situazione.
Controlla se si verifica una delle seguenti situazioni:
- Caricamento delle pagine più lento o errori
- Aumento dell’utilizzo del server/PHP/database
- Picchi di traffico che non corrispondono a visitatori legittimi o alle metriche
- Un gran numero di richieste che colpiscono gli stessi URL
Se riscontri questi problemi, è probabile che il sito sia sottoposto ad almeno un po’ di pressione. È importante saperlo perché questi problemi avranno un effetto negativo sul traffico legittimo e richiedono una rapida stabilizzazione.
2. Stabilizza il sito se necessario
Se i visitatori legittimi ne stanno già risentendo, non c’è bisogno di fare un’indagine completa prima di intervenire. Stabilizza prima il sito in modo che funzioni correttamente per i visitatori legittimi. Poi, perfeziona le tue regole una volta che la pressione immediata sarà sotto controllo.
D’altra parte, se il tuo sito al momento non presenta problemi e stai semplicemente affrontando in modo proattivo il traffico dei bot, puoi passare direttamente a un approccio più approfondito alla gestione di questo tipo di traffico.
Per i problemi gravi che richiedono una stabilizzazione immediata, dovresti considerare quanto segue:
- Aumenta temporaneamente il livello di protezione dai bot. Usa strumenti come Protezione bot di Kinsta per proteggere rapidamente il sito dai bot.
- Blocca il traffico chiaramente abusivo. Questo ti permette di fermare i trasgressori più gravi prima che raggiungano il tuo sito.
- Verifica il traffico sospetto. Per il traffico su cui hai dei dubbi, puoi aggiungere delle verifiche per assicurarti che sia legittimo. Spiegheremo più nel dettaglio cosa significa “verifica” nella prossima sezione.
- Mantieni l’accesso per i crawler e le integrazioni fondamentali. In questo modo ti assicuri che le funzioni chiave del sito e le metriche aziendali (come il posizionamento nei risultati di ricerca di Google) non ne risentano.
Protezione bot di Kinsta offre un modo veloce per stabilizzare il tuo sito, dandoti comunque la flessibilità di costruire una strategia ottimizzata proprio per quel sito.
Kinsta blocca già il traffico classificato come dannoso grazie alle sue protezioni di sicurezza di base, ma livelli più rigorosi di protezione dai bot possono aiutarti a gestire il traffico automatizzato che non è necessariamente classificato come dannoso.
Ad esempio, potresti verificare tutti i bot non verificati o scegliere di verificare tutti.
Sebbene questi approcci siano più aggressivi di quanto la maggior parte dei siti necessiti a lungo termine, rappresentano un ottimo modo per stabilizzare rapidamente il sito e tenere tutto sotto controllo mentre sviluppi una strategia più raffinata.
3. Decidi cosa consentire, sottoporre a verifica o bloccare
Dopo aver confermato che il sito è stabile, puoi sviluppare una strategia a lungo termine per gestire il traffico dei bot.
Puoi costruire questa strategia scegliendo se consentire, verificare o bloccare diversi tipi di bot.
Ecco cosa significano questi termini:
- Consenti: permette alla richiesta di accedere al tuo sito.
- Verifica: richiede che la richiesta superi un ulteriore passaggio di verifica prima di accedere al sito. Con Kinsta, un visitatore che supera con successo la verifica generalmente non verrà sottoposto nuovamente a verifica per almeno 10 giorni, purché utilizzi lo stesso browser e lo stesso indirizzo IP.
- Blocca: impedisce alla richiesta di accedere al tuo sito.
Quando devi decidere se consentire, richiedere la verifica o bloccare i diversi tipi di bot, dovresti riflettere in base ai seguenti criteri:
- Il bot offre qualche valore? Ad esempio, i crawler dei motori di ricerca aiutano il tuo sito a ricevere traffico dalla ricerca organica, e alcuni crawler AI possono favorire la visibilità o le citazioni nelle risposte generate dall’AI. D’altra parte, uno scraper che non invia alcun traffico al sito potrebbe non offrire alcun valore.
- Quanto ti costa il traffico bot? Analizza quanto ti costa il traffico dei bot in termini di risorse del server (elaborazione, larghezza di banda e query al database) e di prestazioni per i visitatori legittimi. Ricorda che non tutte le richieste sono uguali: un bot che accede a un post del blog memorizzato nella cache di solito “costa” molto meno di un bot che accede a una pagina dinamica (come il carrello di WooCommerce).
- Cosa succede se blocchi il bot? Valuta le conseguenze del blocco del bot. Ad esempio, bloccare Googlebot può impedire a Google di eseguire correttamente la scansione e l’indicizzazione dei tuoi contenuti, il che può danneggiare gravemente la tua visibilità nella Ricerca Google. D’altra parte, puoi bloccare molti altri bot senza conseguenze per il tuo sito.
Ecco come potresti affrontare queste domande:
- Consenti: considera questo approccio quando il traffico è legittimo e di valore.
- Blocca: considera questo approccio quando il traffico è chiaramente indesiderato, abusivo o genera costi sproporzionati.
- Verifica: prendi in considerazione questa opzione nelle situazioni in cui la risposta giusta non è chiara.
È importante sottolineare che non devi applicare queste regole in modo universale su tutto il tuo sito. Potresti voler consentire una categoria di bot per determinati contenuti del tuo sito, ma verificarli o bloccarli per altri contenuti.
Protezione bot Kinsta ti aiuta a implementare queste regole flessibili sui bot aggiungendo eccezioni basate su indirizzo IP, percorso, user agent o paese.
Consigli per gestire scenari specifici di traffico dei bot
Per illustrare come potresti applicare questi principi a un sito WordPress, diamo un’occhiata ad alcuni scenari comuni relativi ai bot e a come potresti reagire.
Questo non è un elenco esaustivo di tutte le situazioni possibili. Si tratta piuttosto di alcuni esempi comuni per darti un’idea di come questi principi potrebbero funzionare su un sito web reale.
Un crawler di un motore di ricerca sta generando molto traffico
Se un crawler di un motore di ricerca sta generando molte richieste e il carico sul server ti preoccupa, ecco come potresti risolvere il problema.
Per prima cosa, rispondi alle seguenti domande:
- Quali URL vengono sottoposti a scansione?
- Il crawler sta trovando contenuti utili e indicizzabili?
- Si blocca in parametri, filtri o endpoint dinamici? In pratica, URL che non dovrebbero essere indicizzati.
- Le prestazioni effettive ne risentono davvero?
In base a queste risposte, potresti agire nei seguenti modi:
- Non bloccare automaticamente il crawler. Indaga sui problemi di scansione e sulle inefficienze piuttosto che bloccare l’intero crawler.
- Concentrati sul preservare l’accesso ai contenuti indicizzabili di valore.
- Limita o scoraggia la scansione delle varianti dinamiche non necessarie degli URL.
I crawler AI consumano molte risorse
I crawler AI possono generare molte richieste, ma può essere difficile valutare se apportino davvero un valore aggiunto.
Ecco alcune domande che possono aiutarti a capirlo:
- Dai importanza alla visibilità e alle citazioni generate dall’AI?
- Il crawler sta generando traffico di provenienza significativo?
- Sta principalmente raccogliendo contenuti senza un beneficio evidente? C’è una differenza tra aiutare ad addestrare un modello di AI gratuitamente e aumentare la tua visibilità/le tue citazioni nell’ambito dell’AI.
- Il traffico sta consumando molte risorse dell’infrastruttura?
Ricorda che non devi trattare tutti i crawler di AI allo stesso modo. Potresti scoprire che alcuni crawler offrono più valore di altri, ed è utile tenerne conto nella tua risposta. Gli strumenti di protezione dai bot di Kinsta possono aiutarti a creare regole separate per i diversi crawler.
Una volta che avrai risposto a queste domande, puoi considerare di rispondere in questo modo:
- Consenti l’accesso ai crawler di AI utili se il loro accesso è in linea con i tuoi obiettivi.
- Blocca o limita i crawler aggressivi.
- Blocca i crawler AI se il traffico che generano ha scarso valore e comporta costi significativi in termini di risorse.
I bot stanno colpendo endpoint dinamici costosi
Le visite dei bot agli endpoint dinamici possono consumare molte più risorse rispetto alle visite alle pagine statiche e memorizzate nella cache.
Esempi di questi endpoint su WordPress possono includere pagine come carrelli, pagine di pagamento, ricerche, accessi, ecc. Questo può succedere spesso con i negozi WooCommerce, anche se riguarda anche altri tipi di siti.
Anche se questo traffico dei bot non è per forza dannoso, è comunque un problema per diversi motivi:
- Le richieste possono bypassare la cache.
- È necessaria l’elaborazione PHP.
- Potrebbero essere eseguite query sul database.
- I clienti legittimi si contendono le stesse risorse.
Se riscontri questo tipo di richieste, ecco come potresti reagire:
- Proteggi gli endpoint specifici che richiedono molte risorse.
- Impedisci l’accesso non necessario dei crawler alle funzionalità del carrello e del checkout.
- Non bloccare i crawler di ricerca dall’intero sito, dato che in genere vuoi comunque che possano accedere agli altri contenuti.
- Verifica la presenza di parametri URL superflui e di loop di scansione.
- Monitora le prestazioni del server dopo aver applicato la modifica.
Uno scraper sconosciuto sta scansionando migliaia di URL
In alcune situazioni, potresti imbatterti in un bot non identificato che sta effettuando una scansione aggressiva senza apportare alcun valore evidente al tuo sito.
Un bot sconosciuto non significa automaticamente che sia dannoso, ma merita comunque un’indagine più approfondita. Questo vale soprattutto se il bot è “costoso” e consuma molte risorse.
Ecco un modo equilibrato per reagire:
- Controlla il suo user agent, gli indirizzi IP, i percorsi e il comportamento delle richieste.
- Valuta se si tratta di un’integrazione di cui hai effettivamente bisogno.
- Mettilo alla prova se hai dei dubbi.
- Bloccalo se il traffico è chiaramente indesiderato e causa problemi.
- Tieni d’occhio eventuali problemi sul tuo sito (nel caso in cui si riveli essere il bot alla base di un servizio o di un’integrazione importante).
- Fai attenzione alla rotazione delle identità o ai cambiamenti nei modelli di richiesta.
4. Monitora i risultati e apporta modifiche se necessario
Dopo aver implementato la tua strategia per gestire i bot, è importante monitorare i risultati per assicurarti che funzioni come previsto.
Presta attenzione ai dati chiave, tra cui le analisi del traffico, l’utilizzo delle risorse, la visibilità nei motori di ricerca, le citazioni/i referral generati dall’AI e altre metriche aziendali rilevanti.
Ecco alcune domande specifiche su cui concentrarti quando monitori il tuo sito:
- Il traffico indesiderato è diminuito?
- Le prestazioni del server sono migliorate?
- I crawler legittimi funzionano ancora?
- Si sono verificati problemi con qualche integrazione?
- Hai bloccato per sbaglio del traffico importante?
In base alle risposte a queste domande, puoi decidere se è necessario intervenire ulteriormente:
- Va tutto bene: puoi lasciare le regole così come sono. Continua a controllare ogni tanto per assicurarti che non sia cambiato nulla.
- Continui ad avere problemi con i bot: potrebbe essere necessario modificare ulteriormente le regole del tuo sito per essere più rigoroso nel bloccare, verificare e/o limitare la frequenza del traffico dei bot.
- I visitatori legittimi o i bot “buoni” stanno riscontrando problemi: potrebbe essere necessario aggiungere eccezioni mirate o modificare le regole del tuo sito per renderle più permissive.
Mettiamo tutto insieme: una checklist per la gestione dei bot
Per ricapitolare ciò che abbiamo visto, concludiamo con una chiara lista per la gestione dei bot che puoi utilizzare sul tuo sito.
Idealmente, puoi seguire questi passaggi in modo proattivo prima che i bot diventino un problema, ma questa checklist è utile anche quando devi reagire a un problema immediato.
Quando noti per la prima volta un traffico insolito
- Il sito sta davvero avendo problemi di prestazioni?
- Il traffico è generato da utenti umani, automatizzato, malevolo o una combinazione di questi?
- Quali URL stanno ricevendo il traffico?
- Quegli URL sono memorizzati nella cache o generati dinamicamente?
- Quali user agent, indirizzi IP e tipi di traffico ne sono responsabili?
Se il sito è sotto pressione
- Per prima cosa stabilizza il sito.
- Se necessario, aumenta la protezione contro i bot.
- Contrasta o blocca il traffico che sta causando il problema immediato.
- Quando possibile, mantieni attivi i crawler e le integrazioni essenziali.
Una volta che il sito è stabile
- Valuta se il traffico apporta valore al business.
- Valuta i costi dell’infrastruttura.
- Decidi se consentirlo, metterlo alla prova o bloccarlo.
- Apporta modifiche mirate.
- Proteggi gli endpoint più costosi.
Dopo l’incidente
- Monitora i risultati.
- Modifica le regole secondo necessità, che si tratti di aggiungere eccezioni, rendere le regole più rigide, ecc.
- Documenta ciò che è successo.
- Rivedi periodicamente la politica.
Kinsta può aiutarti ad affrontare la nuova normalità
Il traffico bot è ormai una parte normale della gestione di un sito web. Tuttavia, dato che alcuni bot svolgono ruoli essenziali e apportano un valore reale al tuo sito, “bloccare tutti i bot” non è una strategia realistica né auspicabile per gestire il traffico dei bot su un sito.
Sviluppa invece una strategia proattiva che tenga conto del valore e del costo dei diversi bot nelle varie sezioni del tuo sito.
Gli strumenti e i dati analitici di Protezione bot di Kinsta offrono ai proprietari di siti WordPress e alle agenzie la visibilità e i controlli necessari per gestire il traffico automatizzato senza trattare tutti i bot allo stesso modo. Se vuoi provarli di persona, scopri oggi stesso i piani di hosting di Kinsta.
Steve Bonisteel è un Technical Editor di Kinsta che ha iniziato la sua carriera di scrittore come giornalista della carta stampata, inseguendo ambulanze e camion dei pompieri. Dalla fine degli anni '90 si occupa di tecnologia legata a Internet.
