Quando l’utilizzo delle risorse su un sito cliente inizia a salire senza un corrispondente aumento delle visite, la causa è probabilmente il traffico dei bot. I bot che accedono a endpoint non memorizzabili nella cache, come le azioni relative al carrello, le pagine di prodotti filtrate e le query di ricerca, attivano l’esecuzione di PHP e le query al database ad ogni richiesta. Di conseguenza, la cache della pagina non ha mai la possibilità di assorbirle.
Anche se il tuo primo istinto è quello di bloccare tutto il traffico automatizzato, Googlebot, Bingbot, i lettori RSS e i monitor di uptime rientrano nella stessa categoria dei bot che vuoi bloccare. Bloccare tutto significa eliminare il traffico che mantiene i tuoi siti visibili e funzionanti.
Protezione bot di Kinsta ti permette di filtrare le richieste che comportano costi senza apportare alcun valore e di far passare solo quelle che contano. Questi controlli si trovano a livello di infrastruttura, il che significa che il filtraggio avviene prima ancora che le richieste raggiungano il tuo sito WordPress.
Perché bloccare il traffico in modo indiscriminato non è la soluzione
Un blocco totale di tutto il traffico automatizzato è, in teoria, una tattica valida per ridurre lo spreco di banda. Tuttavia, così facendo si eliminano anche le richieste di cui hai bisogno. Ad esempio, i blocchi totali impediscono a Googlebot e Bingbot di eseguire la scansione dei tuoi contenuti, gli strumenti di monitoraggio dell’uptime non svolgono più le funzioni di cui hai bisogno e le integrazioni API che collegano i flussi di lavoro dei tuoi clienti a WordPress smettono di funzionare.
Al contrario, il traffico che vale la pena bloccare è un sottoinsieme specifico del totale: bot non verificati e automazioni che colpiscono endpoint non memorizzabili nella cache. Questi, in molti casi, non contribuiscono alla SEO, all’esperienza utente o alle entrate.
Tuttavia, secondo David Belson, ex responsabile di Data Insights presso Cloudflare, questo è un comportamento tipico di molte azioni basate sui bot:
La maggior parte di ciò che osserviamo non è dannosa. Si tratta di bot che si comportano in modo inefficiente su larga scala, ed è proprio lì che iniziano i veri problemi.
Un bot che segue le variazioni degli URL non è in grado di riconoscere che sta entrando in un loop. Ad esempio, immagina che ogni filtro di prodotto, stringa di query o parametro del carrello venga trattato come una pagina distinta. I dati della nostra infrastruttura hanno registrato 550 milioni di richieste filtrate da una singola regola di rilevamento dei loop in un periodo di 30 giorni. Un server elabora ognuna di esse come un’attività reale, indipendentemente dall’intento.
La sicurezza a livello di piattaforma di Kinsta gestisce già le minacce più evidenti, bloccando il traffico classificato come dannoso prima che raggiunga il tuo sito. Questo include la mitigazione degli attacchi DDoS e le richieste provenienti da IP associati a fonti di attacco note. Tuttavia, tra questa protezione di base e il traffico che vuoi far passare, c’è un livello intermedio di sicurezza contro i bot non verificati e indesiderati.
Filtrare in modo selettivo il traffico automatizzato rimanente è ciò che impedisce che l’utilizzo delle risorse aumenti mentre il numero di visite rimane stabile. È proprio questo andamento che molte agenzie che gestiscono hosting WordPress per più clienti riconoscono come un segnale che il carico generato dai bot ha superato la soglia di ciò che il solo livello di sicurezza predefinito è in grado di gestire.
Da cosa è composto il traffico che stai effettivamente gestendo
Kinsta classifica ogni richiesta utilizzando una combinazione della propria analisi del traffico e del sistema di machine learning di Cloudflare, che assegna a ogni visitatore un punteggio bot compreso tra uno e 99. Un punteggio di 99 indica che la richiesta proviene molto probabilmente da un essere umano; un punteggio di uno conferma un’attività automatizzata.
Ci sono cinque categorie importanti per le decisioni relative alla protezione:
- I bot verificati sono traffico automatizzato proveniente da organizzazioni riconosciute. Tra questi ci sono Googlebot, Bingbot e altri servizi presenti nella directory dei bot verificati di Cloudflare. Questi passano indenni a ogni livello di protezione, indipendentemente dalle tue impostazioni.
- Le “probabilmente persone” hanno un punteggio compreso tra 30 e 99 e rappresentano visitatori reali con un comportamento di navigazione normale.
- I “probabilmente bot” hanno un punteggio compreso tra 2 e 29 e rappresentano automazioni non verificate rilevate come probabile attività di bot.
- Il traffico automatizzato ha un punteggio pari a uno e comprende i bot confermati, ma include anche strumenti che si connettono al sito in modo programmatico senza un’identità verificata. Si tratta di integrazioni personalizzate, script di distribuzione, monitor di uptime self-hosted e altro ancora.
- I crawler AI a frequenza eccessiva sono bot basati sull’intelligenza artificiale che generano carico tramite richieste ad alta frequenza o in loop.
Ci sono altre due categorie che vale la pena menzionare. Innanzitutto, il traffico dannoso viene bloccato automaticamente a ogni livello di protezione, senza bisogno di alcuna configurazione. Tuttavia, esiste anche il traffico non classificato. Si tratta in genere di quantità di traffico molto ridotte e innocue. Di solito consiste in richieste di servizi interni che non hanno alcun impatto sul server di origine, come le richieste generate quando il tuo sito restituisce una pagina di errore.
L’utilizzo delle risorse con MyKinsta
Capire quale categoria di traffico sta determinando l’utilizzo delle risorse è il primo passo. La scheda Traffico bot e automatizzato all’interno di MyKinsta mostra come vengono classificate le richieste che raggiungono il sito, rendendo più facile identificare quando il traffico automatizzato contribuisce ad aumentare il carico.
Per trovare questi dati, vai su Siti > nome del sito > Statistiche > Traffico bot.
Questa vista classifica il traffico in bot verificati, probabili bot, crawler AI, crawler aggressivi, traffico automatizzato e probabili utenti umani. Invece di dedurre l’attività dei bot indirettamente solo dalla larghezza di banda o dal numero di visite, puoi vedere quanto traffico automatizzato sta effettivamente raggiungendo il tuo sito e come Kinsta lo classifica.
Ad esempio, i picchi di crawler aggressivi o di traffico automatizzato spesso indicano che i bot colpiscono ripetutamente endpoint non memorizzati nella cache. Allo stesso modo, volumi elevati di traffico da crawler AI possono spiegare un aumento inaspettato della larghezza di banda o un maggiore carico sull’origine, anche quando il traffico umano rimane relativamente stabile.
Il grafico dei risultati della protezione dai bot mostra anche come vengono gestite le richieste dopo la classificazione, compreso il traffico che è stato consentito, messo in discussione o bloccato. Questo ti offre un quadro più chiaro di come le tue impostazioni di protezione influenzano il traffico in entrata prima di modificare i livelli di protezione.
Il report Richieste principali per visualizzazioni in Statistiche aiuta anche a identificare gli endpoint esatti che ricevono il maggior volume di richieste. Un cluster di richieste ripetute verso percorsi non memorizzabili nella cache, come gli URL “aggiungi al carrello”, le pagine dei prodotti filtrate, le query di ricerca e gli endpoint di checkout, di solito indica che i bot stanno consumando risorse del server che la cache non riesce ad assorbire.
Insieme, queste analisi offrono il modo più chiaro per mettere in relazione i modelli di traffico con l’utilizzo delle risorse prima di decidere quale livello di protezione applicare.
Come funziona Protezione bot di Kinsta
I controlli della protezione dai bot in MyKinsta operano a livello di infrastruttura. Il filtraggio avviene prima che le richieste raggiungano il livello PHP o del database, quindi la riduzione del carico sul server si applica all’intero costo della richiesta. Questo significa che non c’è bisogno di un plugin né di alcuna modifica alla configurazione di WordPress.
Kinsta classifica il traffico in entrata utilizzando una combinazione della propria analisi del traffico e del sistema di rilevamento dei bot di livello aziendale di Cloudflare. Le richieste vengono suddivise in gruppi di traffico quali bot verificati, bot probabili, crawler AI, crawler aggressivi, traffico automatizzato e utenti probabilmente umani. Il livello di protezione che hai selezionato determina quindi come viene gestita ciascuna categoria.
Tutte le impostazioni di protezione dai bot si trovano in Siti > nome del sito > Protezione bot.
Nella schermata Protezione bot ci sono quattro componenti principali:
- Livelli di protezione che determinano se il traffico viene consentito, sottoposto a verifica o bloccato.
- Un pulsante separato per bloccare i crawler AI.
- Impostazioni per consentire le tipiche automazioni di WordPress per le API comuni di WordPress e le funzionalità in background.
- Un’opzione Consenti sempre per le eccezioni per le fonti di traffico affidabili.
Come parte dell’integrazione con Cloudflare di Kinsta, l’infrastruttura sottostante di valutazione e verifica dei bot è di livello enterprise per impostazione predefinita.
Scegliere un livello di protezione
Hai quattro livelli tra cui scegliere nel pannello Livello di protezione” nella schermata Protezione bot:
- Blocca traffico dannoso è l’impostazione predefinita su ogni sito Kinsta. Gestisce la mitigazione degli attacchi DDoS e blocca il traffico proveniente da IP ed endpoint associati a fonti di attacco note.
- Blocca automazioni estende l’opzione predefinita per bloccare anche il traffico automatizzato confermato, lasciando invece passare tutti i visitatori umani e quelli che sembrano umani.
- Verifica bot blocca il traffico automatizzato e dannoso e aggiunge una fase di verifica per i bot probabili. I visitatori che superano la verifica non vengono sottoposti nuovamente alla prova per dieci giorni dallo stesso browser e indirizzo IP. Tieni presente che le verifiche basate su CAPTCHA possono risultare difficili per i visitatori che utilizzano tecnologie assistive, cosa che vale la pena considerare per i siti con requisiti di accessibilità.
- L’opzione Verifica tutti applica le verifiche anche a chi sembra essere umano, rendendola più adatta a un uso a breve termine durante un picco di traffico piuttosto che come impostazione permanente.
Per modificare il livello, vai su Siti > nomesito > Protezione bot e clicca sul pulsante Modifica. Puoi anche applicare una modifica a più siti andando su Siti, selezionando i siti interessati e utilizzando Azioni > Modifica protezione bot.
Passare al livello Verifica bot o superiore potrebbe influire sugli strumenti che si connettono al tuo sito in modo programmatico. Qualsiasi servizio non presente nella directory dei bot verificati di Cloudflare verrà bloccato o sottoposto a verifica a questi livelli.
Consentire le tipiche automazioni di WordPress
Alcune funzionalità di WordPress si basano su richieste automatizzate per funzionare correttamente. Tra queste ci sono l’API REST di WordPress, le attività in background pianificate, le integrazioni dei plugin, gli strumenti SEO, i moduli, i collegamenti alle piattaforme di analisi e i servizi di sincronizzazione.
L’impostazione “Consenti le automazioni tipiche di WordPress” aiuta a preservare questi flussi di lavoro comuni di WordPress, continuando a filtrare il traffico automatizzato indesiderato. Questo aiuta a ridurre il rischio che funzionalità legittime vengano bloccate quando si utilizzano livelli di protezione più rigorosi.
Se il tuo sito si basa su integrazioni personalizzate o servizi di terze parti, vale comunque la pena testare le funzionalità critiche dopo aver abilitato impostazioni di protezione più rigorose.
Blocco dei crawler AI
L’opzione Blocca crawler AI prende di mira i crawler AI che raccolgono contenuti per l’addestramento dei modelli, la generazione potenziata dal recupero e le funzionalità di ricerca basate sull’AI. Blocca questi crawler, compresi quelli verificati come GPTBot, ma non influisce sui crawler dei motori di ricerca. Googlebot e Bingbot continuano a eseguire il crawling e a indicizzare il tuo sito, indipendentemente dal fatto che l’opzione sia attiva o meno.
Per attivarla, vai su Siti > nomesito > Protezione bot e clicca sul cursore accanto a Blocca crawler AI. Se gestisci più siti, usa Azioni > Modifica blocco crawler AI dalla vista Siti.
Per i siti in cui sospetti che il volume dei crawler AI abbia un impatto, in base ai tuoi dati di analisi, l’opzione li rimuove senza influire sulla visibilità nei motori di ricerca tradizionali. Tuttavia, il compromesso è una visibilità ridotta nelle panoramiche AI e nei riassunti dei contenuti.
I crawler bloccati da questo interruttore alimentano i sistemi che fanno emergere i contenuti nelle risposte e nei consigli generati dall’AI. Per le strategie di contenuto che si basano su questa visibilità, ti consigliamo di monitorare l’impatto prima di lasciare l’opzione abilitata in modo permanente.
Creare eccezioni con “Consenti sempre”
La sezione “Consenti sempre” ti permette di creare eccezioni per il traffico che non dovrebbe mai essere bloccato o messo in discussione dalla protezione bot.
Questo è utile per integrazioni affidabili, servizi di monitoraggio, sistemi di distribuzione, API interne o visitatori specifici che hanno bisogno di un accesso ininterrotto al tuo sito.
Puoi creare eccezioni in base a:
- Indirizzi IP o intervalli di IP
- Percorsi o endpoint
- User agent
Ad esempio, potresti inserire un servizio di monitoraggio nella whitelist, escludere un endpoint API personalizzato dalle verifiche di autenticità o assicurarti che un flusso di lavoro di distribuzione continui a funzionare normalmente anche con livelli di protezione più rigidi.
Poiché le eccezioni vengono applicate prima che le regole di protezione entrino in vigore, vanno usate con attenzione e riviste periodicamente per evitare di aggirare involontariamente le protezioni di sicurezza.
Smetti di destinare larghezza di banda a un traffico che non ti dà nulla indietro
Il traffico bot non gestito genera un carico sul server che nessuna ottimizzazione del codice riesce a gestire, poiché arriva prima che la cache possa assorbirlo. Questo traffico consuma thread PHP e connessioni al database ad ogni richiesta.
La soluzione non è bloccare tutta l’automazione, ma filtrare in modo selettivo il traffico che spreca risorse, consentendo al contempo l’accesso ai bot e ai servizi da cui dipende il tuo sito.
Se vuoi un maggiore controllo su come viene gestito il traffico automatizzato sul tuo sito, Protezione bot di Kinsta offre gli strumenti per monitorare, classificare, verificare e bloccare il traffico indesiderato direttamente da MyKinsta.
