Nel 2025, i bot rappresentavano il 53% di tutto il traffico web: era la prima volta che il traffico automatizzato superava quello umano in un anno solare. A giugno 2026, Cloudflare Radar ha stimato quella cifra al 57,5%, un punto di svolta che, secondo lo stesso CEO di Cloudflare, è arrivato con anni di anticipo rispetto alle previsioni.
Per la maggior parte delle persone che lavorano su siti WordPress, niente di tutto questo è visibile. Le loro dashboard sembrano normali. Il numero di visite sta salendo. Ma una quota sempre maggiore di ciò che sta alimentando quei numeri non è un cliente, un lettore o un potenziale cliente, bensì un crawler basato sull’intelligenza artificiale che raccoglie contenuti per alimentare un modello linguistico, a una velocità e con un volume che i bot dei motori di ricerca non hanno mai raggiunto.
Questo articolo spiega perché questo fenomeno colpisce i siti WordPress in modo diverso rispetto al crawling tradizionale, e come individuarlo e gestirlo direttamente da MyKinsta.
Cos’è un crawler AI?
I crawler AI sono bot automatizzati che leggono le pagine web accessibili al pubblico e ne raccolgono i contenuti per utilizzarli nei sistemi di intelligenza artificiale. A prima vista, sembrano i tradizionali crawler dei motori di ricerca, ma il loro scopo è diverso.
Un crawler di ricerca, come Googlebot, legge una pagina per indicizzarla e classificarla, permettendo così ai visitatori di trovarti. Un crawler AI, invece, legge la stessa pagina per inserirla in un modello linguistico o di addestramento. Questo avviene in diversi modi:
- I crawler di addestramento (come GPTBot e ClaudeBot) raccolgono testo per addestrare grandi modelli linguistici.
- I crawler di recupero recuperano le pagine in tempo reale quando qualcuno pone a uno strumento di IA una domanda che richiede informazioni aggiornate.
- I crawler di indicizzazione creano un database di ricerca proprio del provider per ridurre la dipendenza da terze parti.
Il filo conduttore è che nessuno di questi ti riporta un visitatore. L’identificazione rende le cose imprevedibili. Alcuni crawler AI usano user agent con nome proprio e rimangono all’interno di intervalli IP pubblicati. Altri prendono in prestito l’user agent di un browser legittimo, ruotano gli indirizzi di origine o non offrono alcuna identificazione affidabile.
In poche parole, il traffico è sia più difficile da attribuire sia in rapida crescita: il 2025 Radar Year in Review di Cloudflare ha stimato che i crawler di AI non-Googlebot rappresentino in media il 4,2% delle richieste HTML, una cifra che è passata dal 2,4% di aprile al 6,4% di giugno. Se aggiungi Googlebot, che ora esegue il crawling sia per l’indicizzazione della ricerca che per l’addestramento dell’AI, il crawling totale legato all’AI ha raggiunto circa l’8,7% delle richieste HTML nel 2025.
Le regole di scansione stabilite dai crawler dei motori di ricerca
Per capire questo cambiamento, è utile vedere com’era effettivamente il vecchio accordo. La scansione dei motori di ricerca funzionava secondo una serie di convenzioni condivise che permettevano ai proprietari dei siti di organizzarsi di conseguenza. Il Robots Exclusion Protocol è apparso nel 1994 ed è stato formalizzato come standard Internet nel 2022. Intorno a esso si sono sviluppati quattro comportamenti che hanno reso i crawler tradizionali qualcosa per cui potevi costruire un’infrastruttura:
- Il rispetto del file
robots.txt. Un crawler leggeva il file, individuava i percorsi vietati e ne rimaneva fuori. - Limitazione automatica della frequenza. I crawler più diffusi rallentavano quando un server mostrava segni di sovraccarico, così un sito in difficoltà riceveva meno richieste invece che di più.
- Identificazione coerente. Uno user agent stabile permetteva di verificare un crawler e decidere come trattarlo.
- Operare entro un “budget di scansione”. Google definisce il budget di scansione di un sito come l’insieme di URL che Googlebot può e vuole scansionare. Questo impedisce che un singolo sito venga scansionato senza limiti.
A questo è legato il “crawl delay”: il tempo che un crawler aspetta tra una richiesta di pagina e l’altra. Tuttavia, si tratta di una direttiva non ufficiale, quindi Google non l’ha mai supportata e l’ha esclusa dallo standard formalizzato. Invece, Googlebot regola dinamicamente la propria frequenza di scansione in base alla velocità di risposta del server. L’aspettativa è che un crawler “analizzi l’ambiente circostante” e si autoregoli.
Queste convenzioni sono integrate nel funzionamento stesso dell’hosting. Ad esempio, i livelli di cache esistono perché i crawler ben educati richiedono le stesse pagine in modo abbastanza prevedibile da poterle servire dalla cache. L’intero modello si basa sul presupposto che i crawler si comportino correttamente.
In che modo i crawler AI infrangono queste norme
I crawler AI seguono regole diverse in tre modi:
robots.txtviene considerato facoltativo. I rapporti di TollBit rilevano un drastico aumento del numero di bot che ignorano le direttive del file robots.txt. Lo stesso rapporto descrive come Cloudflare abbia individuato un importante motore di ricerca basato sull’AI che accedeva a contenuti su siti che lo avevano esplicitamente vietato.- Non c’è alcuna limitazione della velocità. Molte implementazioni di crawler AI inviano richieste a una velocità fissa ed elevata, indipendentemente da come risponde il server. In alcuni casi non è nemmeno intenzionale, perché c’è chi scrive bot “a braccio”… e li rilascia senza mai controllare
robots.txt. - I crawler rimangono bloccati in loop. Si tratta di un modello costoso, più strutturale che malevolo. La maggior parte dei crawler segue ogni link che trova e registra ogni URL unico come una pagina a sé stante. I crawler AI seguono una variante, che ne genera un’altra, che a sua volta seguono di nuovo, senza rendersi conto di girare a vuoto.
Il problema è che la maggior parte del crawling basato sull’AI serve per l’addestramento dei modelli piuttosto che per la ricerca o le query degli utenti, il che significa che non invia traffico al tuo sito.
Perché questo si riflette sul tuo server come un problema di prestazioni
Il volume non è davvero il problema in questo caso. Ad esempio, una pagina statica servita dalla cache non costa quasi nulla, quindi mille accessi dalla cache passano quasi inosservati. Il problema inizia quando il traffico salta la cache, e i crawler che girano in loop sono bravissimi a trovare questi percorsi.
Su un sito WordPress con WooCommerce, le richieste di ricerca o di filtraggio rappresentano una quota consistente delle richieste che raggiungono endpoint dinamici piuttosto che pagine. Si tratta in genere di azioni relative al carrello, varianti dei parametri ?add-to-cart=, pagine di prodotti filtrate, query di ricerca e interazioni basate su AJAX instradate tramite admin-ajax.php. Nessuna di queste è memorizzabile nella cache come lo è un post del blog, quindi ogni richiesta costringe il server a lavorare:
- Esecuzione PHP. Un thread PHP viene riservato per tutta la durata di ogni richiesta. Con un carico costante di bot, i thread si esauriscono e i visitatori reali finiscono in coda dietro ai bot.
- Query al database. Le pagine dinamiche interrogano il database a ogni caricamento perché non c’è un livello di cache che assorba la query.
- Gestione delle sessioni. Le pagine del carrello e del checkout creano o convalidano una sessione a ogni richiesta, aggiungendo un sovraccarico anche per i bot che non compreranno mai nulla.
Sulla base dei dati dell’infrastruttura di Kinsta, un singolo bot ha generato 3,75 milioni di richieste verso gli URL di add-to-cart in 24 ore. Si tratta all’incirca di una richiesta ogni 23 millisecondi, 24 ore su 24. I sintomi si presentano come anomalie di utilizzo, superamento della larghezza di banda, processi PHP esauriti e tempi di risposta più lenti per gli utenti reali. Di conseguenza, sembra una normale attività di crawling piuttosto che un attacco, il che rende facile non accorgersene.
Come identificare l’attività dei crawler AI in MyKinsta
Prima di iniziare a modificare le impostazioni, devi confermare che la causa siano effettivamente i crawler. MyKinsta ti offre tre schermate che, se analizzate insieme, trasformano un sospetto in una diagnosi.
Per prima cosa, vai su Siti > nome del sito > Protezione bot all’interno di MyKinsta. Qui, il grafico Suddivisione delle richieste mostra tutte le richieste effettuate al sito nelle ultime 24 ore e come Kinsta le classifica.
La categoria “Crawler AI a frequenza eccessiva” isola i bot che generano volumi di richieste così elevati da minacciare le prestazioni. Quando una fetta consistente del grafico si trova in quella fascia, significa che si tratta di un carico dovuto ai crawler piuttosto che di un vero e proprio picco di visitatori.
Il grafico Risultati di protezione bot mostra cosa è successo al traffico, suddividendolo in richieste consentite, verificate o bloccate. Ciò permette di vedere quanto traffico automatizzato sta attualmente raggiungendo il tuo sito rispetto a quello filtrato prima di arrivarci. Mettendo questi grafici a confronto, puoi capire se il carico viene già gestito o se arriva direttamente al tuo server.
Per collegare il traffico al rallentamento, dai un’occhiata all’elenco dei principali IP dei client all’interno delle Statistiche di MyKinsta:
Qui vedrai gli indirizzi che inviano il maggior numero di richieste; ogni IP è collegato a un servizio di ricerca per verificarne l’origine. Infine, apri la scheda Prestazioni e confronta i picchi dei tempi di risposta con i periodi di crawling intenso. Se i picchi delle risorse e il volume dei bot aumentano e diminuiscono insieme, sai che il passo successivo è controllare il traffico in entrata.
Come gestire i crawler AI con la protezione bot di Kinsta
Una volta confermata la fonte, Protezione bot di Kinsta ti permette di controllare ogni categoria di traffico. Si aggiunge alle difese della piattaforma che già filtrano il traffico chiaramente dannoso ed è inclusa in tutti i piani.
Il pannello “Livello di protezione nella schermata Protezione bot in MyKinsta offre quattro impostazioni tra cui scegliere:
- Blocca traffico dannoso è l’impostazione predefinita. Si occupa della mitigazione degli attacchi DDoS e blocca gli IP e gli endpoint collegati a fonti di attacco note.
- Blocca automazioni aggiunge un livello che blocca il traffico automatizzato confermato, lasciando passare i bot verificati e i visitatori reali.
- Verifica bot aggiunge una fase di verifica per i potenziali bot. Un visitatore che supera la verifica non verrà sottoposto nuovamente alla verifica per dieci giorni dallo stesso browser e indirizzo IP.
- Verifica tutti è l’impostazione più rigorosa e lascia passare solo i bot verificati. È uno strumento da usare a breve termine durante un picco di traffico.
Con l’impostazione Verifica bot o superiore, qualsiasi strumento che si connetta al tuo sito in modo programmatico e non sia presente nella directory dei bot verificati di Cloudflare verrà sottoposto a verifica o bloccato. Per questo, assicurati che i tuoi strumenti critici per l’attività figurino in quell’elenco prima di aumentare il livello.
Kinsta sovrappone le proprie regole all’elenco dei bot verificati di Cloudflare. Ciò significa che riclassifica i bot AI verificati che generano volumi elevati di richieste nella categoria separata Crawler AI a frequenza eccessiva.
La logica è quella di giudicare un crawler in base al suo comportamento piuttosto che alle sue credenziali, quindi un bot verificato che inizia a martellare il tuo sito viene trattato come il problema che è diventato. Quando imposti la protezione su Verifica bots o livelli superiori, permetti a un servizio legittimo ad alto volume di dimostrare la propria legittimità, filtrando al contempo i crawler bloccati in un loop.
Altre funzionalità di Protezione bot di MyKinsta
L’opzione Blocca crawler AI è un controllo separato dal livello di protezione che prende di mira specificamente i crawler AI, compresi quelli verificati come GPTBot. Googlebot e Bingbot continuano a indicizzare il tuo sito a prescindere, quindi questo elimina il carico dei crawler AI senza intaccare la tua visibilità nei motori di ricerca.
È un’opzione più semplice rispetto alla modifica manuale di robots.txt o alla gestione delle regole per singolo bot, ma vale la pena valutare bene i pro e i contro prima di attivarla.
Bloccare i crawler AI riduce la frequenza con cui i tuoi contenuti compaiono nelle risposte e nei riassunti generati dall’AI, e dato che gli strumenti di AI stanno diventando un canale di scoperta sempre più importante per alcuni tipi di pubblico, disattivarli del tutto ha implicazioni che vanno oltre il carico sul server.
Per i siti in cui le prestazioni sono prioritarie, come i negozi WooCommerce, i siti con contenuti ad alto traffico e le piattaforme con abbonamento, il costo in termini di risorse del crawling da parte dell’AI è elevato e il ritorno è basso, quindi il blocco potrebbe essere una scelta più pulita se riscontri dei problemi. Per i siti incentrati sui contenuti, dove la visibilità tramite AI è una priorità strategica, mantenere l’impostazione su Blocca le automazioni o Verifica bot filtra i comportamenti più dannosi, pur mantenendo i tuoi contenuti indicizzabili dalle piattaforme di AI.
Non esiste una risposta giusta valida per tutti. L’opzione è lì per darti la possibilità di scegliere.
Una protezione più rigorosa potrebbe bloccare il traffico automatizzato su cui fai affidamento, quindi due impostazioni ti permettono di mantenerlo attivo. La sezione Consenti sempre ti permette di aggiungere fino a 50 eccezioni per indirizzo IP, percorso o user agent. È qui che elenchi le cose che non dovrebbero mai essere bloccate, come un servizio di monitoraggio, un webhook di pagamento o un IP affidabile dell’ufficio o di un cliente.
L’opzione Consenti automazioni tipiche di WordPress attiva una whitelist gestita di endpoint e servizi comuni di WordPress, tra cui l’API REST e le attività in background. Puoi attivarla insieme a una protezione più rigorosa quando il tuo sito dipende da plugin, integrazioni o attività pianificate che effettuano richieste automatiche, in modo che rafforzare le tue difese non interrompa silenziosamente un flusso di lavoro.
Le nuove regole del web crawling richiedono una gestione più attenta
Anche se il comportamento su Internet è cambiato, il tuo hosting probabilmente no. I crawler AI non rispondono alle stesse regole che i motori di ricerca hanno impiegato due decenni a definire. Il file robots.txt è facoltativo e il crawling procede a un ritmo costante e elevato. Inoltre, non ottieni nulla in cambio delle risorse utilizzate. Questo crea un problema di prestazioni e costi che sembra derivare da un sito in difficoltà piuttosto che dall’attività dei crawler.
La soluzione è semplice e sotto il tuo controllo. Per prima cosa, verifica la causa nelle statistiche di MyKinsta. Poi, imposta il giusto livello di protezione in MyKinsta e attiva l’opzione Blocca crawler AI per alleggerire il carico dei crawler AI senza perdere visibilità nei motori di ricerca. Infine, proteggi ciò su cui fai affidamento tramite l’opzione Consenti sempre, così le impostazioni più rigide non comprometteranno un’integrazione affidabile. Ogni modifica entra in vigore senza tempi di inattività, quindi puoi adattarti man mano che i modelli cambiano.
Se gestisci molti siti per i tuoi clienti, il Programma per Agenzie Partner di Kinsta include questi controlli insieme a un’assistenza dedicata. Scopri l’hosting WordPress gestito di Kinsta per mettere in pratica questo livello di controllo.
