Quando l’utilizzo delle risorse su un sito cliente inizia a salire senza un vero aumento delle visite, passare a un piano di hosting superiore sembra la mossa giusta. È un principio valido quando la crescita deriva da traffico reale che aumenta il carico e la necessità di ulteriore capacità.
Tuttavia, sebbene il potenziamento aggiunga risorse, non riduce il numero di richieste che raggiungono il server. Se il traffico dei bot si aggiunge a queste richieste e al carico del server, una maggiore capacità non fa altro che dare loro più spazio per agire.
Di conseguenza, i costi di gestione aumentano, ma i problemi di prestazioni rimangono gli stessi. Lo strumento Protezione Bot di Kinsta è pensato proprio per questo tipo di situazione, poiché ti permette di controllare ciò che raggiunge il tuo server, invece di ampliare la superficie che lo assorbe.
Perché i bot non si comportano come il traffico reale
Un visitatore umano che si imbatte in una pagina lenta potrebbe aspettare, ricaricarla o semplicemente andarsene. Al contrario, un bot continua a inviare lo stesso volume di richieste indipendentemente da come risponde il server. Questo problema fondamentale, ovvero che il traffico dei bot non è in grado di autoregolarsi quando aggiungi risorse, significa che l’aggiornamento del piano offre ai bot più capacità da consumare.
La questione si complica se si considera come i moderni siti WordPress gestiscono le richieste. La maggior parte del traffico dei bot non arriva su pagine statiche che la cache può assorbire. Al contrario, colpisce endpoint che aggirano i sistemi di caching e costringono il server a lavorare di più. Su qualsiasi sito che utilizza WooCommerce, la funzione di ricerca o i filtri, ciò significa che i bot colpiscono diversi elementi:
- Azioni nel carrello e varianti del parametro
?add-to-cart=. - Pagine di prodotti filtrate con diverse combinazioni di stringhe di query.
- Query di ricerca.
- Fasi del checkout e azioni relative alla lista dei desideri.
- Interazioni basate su AJAX.
Nessuna di queste è memorizzabile nella cache come lo è una pagina statica. Per ogni richiesta che arriva su uno di questi endpoint, ci sono alcune cose che succedono sul lato server:
- Esecuzione PHP. Un thread PHP viene riservato per tutta la durata della richiesta. Con un carico costante di bot, i thread si esauriscono e i visitatori devono aspettare.
- Query al database. Le pagine dinamiche interrogano il database a ogni caricamento perché non c’è un livello di cache che le assorba.
- Gestione delle sessioni. Le pagine del carrello e del checkout creano o convalidano le sessioni a ogni richiesta, il che aggiunge un sovraccarico anche per i bot che non convertono.
Dai dati della nostra infrastruttura, un singolo bot è riuscito a generare 3,75 milioni di richieste verso gli URL “aggiungi al carrello” in un periodo di 24 ore. Ciò equivale all’incirca a una richiesta ogni 23 millisecondi, 24 ore su 24. Inoltre, una singola regola di rilevamento dei loop ha filtrato 550 milioni di richieste su tutta la piattaforma in un periodo di 30 giorni.
Tuttavia, questi non sono volumi di attacchi nel senso tradizionale del termine. Sono il risultato di bot progettati per seguire ogni URL che trovano, comprese alcune variazioni delle stringhe di query e percorsi basati su parametri.
«Dal punto di vista dell’infrastruttura, non esiste una cosa come il “semplice traffico dei bot”. Ogni richiesta è un carico di lavoro reale. Su larga scala, il crawling inefficiente smette di essere un problema di traffico e diventa un problema di risorse.» – Daniel Pataki, CTO, Kinsta
Quanto costa il traffico bot
Un modello comune per le agenzie segue un ciclo: una volta che l’utilizzo delle risorse aumenta, i clienti passano a un piano superiore, poi l’utilizzo delle risorse aumenta di nuovo. Nel frattempo, le prestazioni non migliorano perché il volume di richieste sottostante non è cambiato.
Dato che la fatturazione di Kinsta esclude il traffico bot dall’utilizzo del piano, hai un modo veloce per capire se i bot sono un problema. Gli user agent dei bot riconosciuti vengono già filtrati dalla schermata Visite nella sezione Statistiche di MyKinsta. Se queste statistiche sembrano normali mentre il tuo server è sotto pressione, il traffico automatizzato è probabilmente la causa.
La sezione Bot e traffico automatizzato in MyKinsta offre una ripartizione più chiara del traffico che raggiunge il sito, inclusi bot verificati, probabili bot, crawler AI, crawler aggressivi, traffico automatizzato e probabili utenti umani.
Questo rende più facile capire quando è il traffico automatizzato a far aumentare l’utilizzo delle risorse. Ad esempio, i picchi di crawler aggressivi o di traffico automatizzato spesso indicano che i bot stanno colpendo ripetutamente endpoint non memorizzati nella cache.
Il grafico dei risultati della protezione bot mostra anche come vengono gestite le richieste dopo la classificazione, compreso il traffico che è stato consentito, verificato o bloccato. Ciò offre un quadro più chiaro di come le attuali impostazioni di protezione influenzano il traffico in entrata.
Il report Richieste principali per visualizzazioni riflette anche ciò che sta generando carico sul server e include tutto il traffico, non solo le visite fatturabili. La differenza tra questi due valori è proprio dove si accumulano i tuoi costi senza una spiegazione chiara.
Ecco come interpretare questa differenza:
- Controlla prima le Visite in Siti >
sitename> Statistiche > Utilizzo del piano. Se le visite sembrano normali, non si tratta di un vero e proprio picco di traffico umano. - Apri Richieste principali per visualizzazioni per visualizzare tutto il traffico, compresi i bot. Un gruppo di richieste ad alto volume su percorsi non memorizzabili nella cache (URL “aggiungi al carrello”, variazioni delle stringhe di query o passaggi del checkout) conferma che i bot stanno consumando risorse a cui la tua cache non può accedere.
- Dai una rapida occhiata al report Prestazioni . Qui, tempi di risposta PHP elevati o limiti di thread raggiunti sono i punti in cui il carico generato dai bot si manifesta come stress del server.
Se gestisci portafogli di clienti, ogni sito colpito dal carico generato dai bot rappresenta un costo difficile da giustificare, specialmente quando le prestazioni non migliorano dopo un aggiornamento. Il traffico dei bot AI è cresciuto del 300% nell’ultimo anno, mentre una visita web su 31 è effettuata da un bot basato AI. Non si tratta di un volume che si risolve da solo.
La sicurezza a livello di piattaforma di Kinsta blocca già il traffico in entrata classificato come dannoso prima che raggiunga il tuo sito, il che include la mitigazione degli attacchi DDoS e le richieste provenienti da IP associati a fonti di attacco note. Tra questo traffico e quello che ti interessa c’è una categoria di richieste automatizzate non verificate, ad alto volume e che consumano molte risorse, che comunque raggiungono il tuo server. I controlli di Protezione bot di Kinsta aiutano a ridurre quel volume.
Come funziona Protezione bot di Kinsta
I controlli di protezione dai bot in MyKinsta operano a livello di infrastruttura e il filtraggio avviene prima ancora che WordPress entri in gioco. Di conseguenza, non c’è nessun plugin da installare né alcuna configurazione di WordPress da modificare.
Kinsta classifica ogni richiesta utilizzando una combinazione della propria analisi del traffico e del sistema di machine learning di Cloudflare, che assegna a ogni visitatore un punteggio bot compreso tra 1 e 99. I punteggi alti indicano che la richiesta proviene molto probabilmente da un essere umano; i punteggi bassi indicano che si tratta di attività automatizzata.
Il traffico viene raggruppato in categorie quali bot verificati, probabili bot, crawler AI, crawler aggressivi, traffico automatizzato e probabili utenti umani. Il livello di protezione che scegli determina come viene gestita ciascuna categoria.
Puoi gestire la Protezione dai bot all’interno di MyKinsta alla voce Siti > nome del sito > Protezione dai bot.
Scegliere un livello di protezione
Ci sono quattro livelli tra cui scegliere nel pannello Livello di protezione della schermata Protezione bot:
- Blocca il traffico dannoso è l’impostazione predefinita, che gestisce la mitigazione degli attacchi DDoS e blocca il traffico proveniente da IP ed endpoint associati a fonti di attacco note.
- Blocca le automazioni si basa sull’impostazione predefinita per bloccare anche il traffico automatizzato confermato, lasciando passare i bot verificati e i visitatori reali.
- Verifica bot blocca il traffico automatizzato e dannoso e aggiunge una fase di verifica per i potenziali bot. I visitatori che superano la verifica non vengono sottoposti a ulteriori verifiche per dieci giorni sullo stesso browser e indirizzo IP.
- Verifica tutti applica le verifiche anche a chi sembra essere un utente umano. Questo livello è adatto per un uso a breve termine durante i picchi di traffico.
Per cambiare il livello, vai su Siti > sitename > Protezione dai bot e clicca su Modifica. Tramite Siti puoi selezionare i siti interessati e utilizzare Azioni > Modifica protezione bot.
Tuttavia, quando si passa a Verifica bot o a un livello superiore, qualsiasi strumento che si connetta al tuo sito in modo programmatico e non sia presente nella directory dei bot verificati di Cloudflare verrà bloccato o sottoposto a verifica. Questo include integrazioni personalizzate, script di distribuzione e monitor di uptime self-hosted. Se utilizzi uno di questi strumenti, ti conviene verificare che compaiano nell’elenco prima di aumentare il livello di protezione.
Blocco dei crawler AI
L’opzione Blocca crawler AI prende di mira specificatamente i crawler basati sull’intelligenza artificiale. Si tratta di bot che raccolgono contenuti per l’addestramento dei modelli, la generazione potenziata dal recupero e le funzionalità di ricerca basate sull’intelligenza artificiale. Ciò non influisce sui crawler dei motori di ricerca, ma include crawler dedicati come GPTBot. Googlebot e Bingbot continuano a indicizzare il tuo sito indipendentemente dal fatto che l’interruttore sia attivo o disattivo.
In generale, l’80% di tutta l’attività di crawling dell’IA è finalizzata all’addestramento dei modelli piuttosto che a query innescate dagli utenti. Questo non genera traffico di provenienza verso il tuo sito. Pertanto, attivare questa opzione è una buona idea. Per attivarla, vai su Siti > sitename > Protezione dai bot e clicca sul cursore accanto a Blocca crawler AI. Se hai più siti, usa Azioni > Modifica blocco crawler AI dalla vista Siti.
Tuttavia, il compromesso è una minore visibilità nelle panoramiche e nei riassunti dei contenuti generati dall’AI. Se questa visibilità è importante per la tua strategia di contenuti, vale la pena monitorare l’impatto prima di lasciare l’opzione attiva in modo permanente.
Se la tua priorità è gestire il carico del server, è un’opzione più semplice rispetto alla modifica del file robots.txt o alla creazione di regole specifiche per ogni bot. A differenza di questi approcci, agisce a livello di infrastruttura prima ancora che una richiesta raggiunga WordPress.
Gestire la protezione in un portafoglio clienti
Siti diversi richiedono livelli di protezione variabili, quindi un negozio WooCommerce con pagine di prodotti filtrate non sarà uguale a una piattaforma di contenuti. Inoltre, ogni sito nel portafoglio clienti presenta un profilo di traffico diverso, un insieme di integrazioni e una tolleranza diversa per le fasi di verifica. Questo significa che applicare un’unica politica a tutto il portafoglio finirà per limitare troppo alcuni siti o lasciarne altri poco protetti.
Quando noti i segnali che indicano che il traffico dei bot sta facendo lievitare i costi sul sito di un cliente, ecco un flusso di lavoro pratico:
- Inizia dalla vista Analisi del traffico dei bot e automatizzato all’interno di MyKinsta. Se il traffico umano rimane stabile mentre il traffico automatizzato, i crawler aggressivi o l’attività dei crawler basati sull’AI aumentano, il carico generato dai bot è la causa più probabile.
- Poi, apri Richieste principali per visualizzazioni nella sezione Statistiche e cerca volumi elevati di richieste su percorsi non memorizzabili nella cache. Un picco di attività su URL “aggiungi al carrello”, pagine di prodotti filtrate, fasi di checkout, query di ricerca o variazioni delle stringhe di query è un forte indicatore di un utilizzo delle risorse generato dai bot.
- Il report Prestazioni aiuta a confermare l’impatto. L’aumento dei tempi di risposta PHP, un throughput elevato o il raggiungimento dei limiti dei thread sono i segnali che indicano che il traffico automatizzato inizia a gravare sul server.
- A questo punto, applica il livello di protezione adeguato al sito. Blocca le automazioni è in genere il punto di partenza giusto, mentre Verifica bot aggiunge un ulteriore livello di verifica per il traffico probabilmente generato da bot che continua a raggiungere l’origine.
- Per i siti che si basano su integrazioni, API o funzionalità automatizzate di WordPress, impostazioni come Consenti le automazioni tipiche di WordPress e Consenti sempre le eccezioni aiutano a ridurre il rischio che servizi legittimi vengano bloccati.
- Le modifiche entrano in vigore senza alcun tempo di inattività e puoi annullarle immediatamente se un’impostazione risulta più restrittiva di quanto le integrazioni del sito possano gestire. Poiché i controlli si trovano al di fuori di WordPress, non c’è alcun rischio per il sito stesso mentre valuti la situazione.
Per le agenzie che gestiscono ampi portafogli su hosting WordPress, questo rende l’operazione un’attività di routine piuttosto che un progetto. Quando le impostazioni di protezione corrispondono al profilo di traffico effettivo di ciascun sito, l’utilizzo delle risorse può riflettere l’attività reale degli utenti. Le metriche sulle prestazioni corrispondono a ciò che vivono i visitatori reali:
«L’errore comune è pensare che il traffico dei bot sia un semplice problema di “bloccare o consentire” l’accesso al traffico. In realtà, si tratta di politica, visibilità e controllo economico.» – Cristian Lopez, caporedattore, HostingAdvice
La spiegazione che dai a un cliente sui costi dovrebbe riferirsi alle decisioni che hai preso riguardo al suo traffico, non alla capacità che hai aggiunto in risposta a un carico che non riesci a identificare.
Smetti di scalare per aggirare un problema che puoi controllare
Scalare la tua infrastruttura aumenta la quantità di carico che il tuo server può assorbire. Protezione bot riduce invece la quantità di carico che lo raggiunge. Non si tratta di risposte equivalenti allo stesso problema: una aggiunge capacità, mentre l’altra rimuove la pressione che, in primo luogo, faceva sembrare necessaria una maggiore capacità.
Usando le statistiche di MyKinsta, puoi capire quando il traffico automatizzato contribuisce all’aumento dell’utilizzo delle risorse, anche se il traffico umano rimane stabile. Da lì, la Protezione bot offre gli strumenti per classificare, verificare e bloccare il traffico indesiderato prima che raggiunga WordPress, PHP o il database.
Per i siti che devono gestire un’attività eccessiva dei crawler, l’opzione Blocca crawler AI riduce anche il traffico generato dall’intelligenza artificiale senza influire sui crawler tradizionali dei motori di ricerca come Googlebot o Bingbot.
Se vuoi un maggiore controllo su come il traffico automatizzato raggiunge la tua infrastruttura, Protezione bot di Kinsta ti offre la visibilità e gli strumenti di filtraggio necessari per ridurre il carico superfluo direttamente da MyKinsta.
