Per il traffico AI, un sito web nella media non esiste
I nuovi dati sull’infrastruttura provenienti da oltre 5.000 siti WordPress mostrano quanto il traffico generato dall’AI colpisca in modo diverso ogni sito e cosa non si riesce a capire osservando solo il volume delle richieste
CAMpione
Oltre 5.000 siti WordPress
Finestra
Dati sulle richieste di 30 giorni
fonte
Infrastruttura di Kinsta
Riepilogo
Il traffico generato dall’intelligenza artificiale viene spesso ridotto a una singola percentuale del traffico web. I nostri dati mostrano che tale cifra può variare notevolmente da un sito web all’altro. Su oltre 5.000 siti WordPress, l’attività dei crawler AI era bassa o inesistente, mentre una quota molto più ridotta registrava un’attività di gran lunga superiore alla media complessiva.
La differenza non risiedeva solo nel volume di traffico in entrata, ma anche nel tipo di contenuti richiesti al sito. I crawler AI erano molto più propensi dei visitatori umani a richiedere contenuti dinamici e non memorizzabili nella cache, rendendo il comportamento delle richieste importante quanto il volume stesso nella valutazione dell’impatto sull’infrastruttura.
L’AI sta cambiando anche il modo in cui gli utenti scoprono i prodotti. Nella nostra ricerca sui consumatori, il 44,7% degli intervistati ha dichiarato di visitare sempre o quasi sempre il sito web di un’azienda dopo aver ricevuto un consiglio dall’intelligenza artificiale, mentre il 61,1% associa la qualità del sito web di un’azienda alla qualità dei suoi prodotti o servizi.
Man mano che l’AI assume un ruolo sempre più importante nel processo di scoperta, il sito web diventa il punto di riferimento a cui le persone si rivolgono per verificare se il suggerimento sia fondato.
RISULTATI CHIAVE
01. Larghezza di banda
L’1,57%
della larghezza di banda nel sito mediano è stata utilizzata dai bot AI, rispetto al 17,8% al 90° percentile e al 90,3% al 99° percentile.
02. volume
33-67
richieste di bot AI hanno raggiunto il valore mediano giornaliero, mentre la media era di 14–25 volte superiore.
03. Comportamento
Il 77–91%
delle richieste dei bot AI riguardavano contenuti dinamici o comunque non memorizzabili nella cache, rispetto a circa il 18-19% delle richieste effettuate da utenti umani.
04. consumatori
Il 44,7%
dei consumatori afferma di visitare sempre o quasi sempre il sito web di un’azienda dopo aver ricevuto un consiglio fornito dall’AI.
05. percezione
Il 61,1%
of consumers associate the quality of a company’s website with the quality of its products or services.
01. Perché un dato su scala di rete non è più valido a livello di singolo sito.
La media racconta una storia sbagliata
Non è più una novità che i bot rappresentino oltre la metà del traffico web. Secondo i dati globali di Cloudflare, attualmente la suddivisione delle richieste alle pagine web è del 57% di bot e del 43% di utenti umani. Cifre come queste inducono chiunque gestisca un sito a chiedersi quale percentuale del proprio traffico sia ancora generata da utenti umani.
Il dato è reale, considerando la portata delle misurazioni effettuate da Cloudflare, e i nostri dati si sono rivelati molto simili. Tra i siti WordPress del nostro campione, in una giornata tipo si registrava circa il 54% di traffico automatizzato e il 46% di traffico umano.
Una giornata tipo nella flotta Kinsta
Percentuale delle richieste totali in una giornata tipo, sui siti ospitati da Kinsta
Questi dati sono validi a livello di rete, ma diventano fuorvianti se applicati a un singolo sito. Quando i bot sono responsabili di oltre la metà delle richieste su Internet, è facile supporre che il proprio sito rientri più o meno nella stessa ripartizione.
Abbiamo effettuato lo stesso calcolo su tutta la nostra infrastruttura. Successivamente abbiamo smesso di calcolare la media dei siti e abbiamo scoperto che il sito mediano dedicava solo l’1,57% della propria larghezza di banda ai bot di intelligenza artificiale, mentre oltre 1.000 siti non ne riportavano affatto.
Questa scoperta ha sollevato una nuova domanda.
Una percentuale relativa all’intera flotta può darci un’idea di ciò che sta accadendo in tutta la rete, ma non può indicare a chi gestisce un sito cosa stia succedendo al sito stesso. E anche una volta noto il dato a livello di sito, il volume di traffico lascia comunque senza risposta un’altra domanda: cosa chiedono all’applicazione quelle richieste?
È proprio nella ricerca di quella risposta che il nostro studio ha improvvisamente cambiato direzione.
Il dato complessivo era corretto. La distribuzione sottostante, invece, non era affatto uniforme.
Un unico web, realtà del traffico AI radicalmente diverse
La media diventa più difficile da dimostrare quando si inizia a considerare i singoli siti.
Tra i siti oggetto della nostra analisi, i bot AI hanno rappresentato il 6,13% della larghezza di banda totale. Il sito mediano ha registrato solo l’1,57% di traffico bot, mentre oltre 1.000 dei più di 5.000 siti analizzati non ne hanno registrato affatto. All’estremità opposta della distribuzione, i bot AI hanno rappresentato il 17,8% della larghezza di banda al 90° percentile e il 90,3% al 99° percentile.
Se si ordinano i siti dal traffico AI minore a quello maggiore, la flotta assume la forma di una scala. Ogni gradino ha una larghezza pari alla quota di siti che copre, e il suo limite superiore è un percentile misurato. La scala verticale è logaritmica: su una scala lineare, metà della flotta apparirebbe come una linea sottilissima.
Quota della larghezza di banda totale attribuibile ai bot AI su 5.168 siti WordPress, dalla più bassa alla più alta
6,13%
Totale della flotta — il dato fornito dalla media
1,57%
Valore mediano del sito — quattro volte inferiore al valore aggregato
57 volte in più
La quantità di larghezza di banda il sito al 99° percentile ha assegnato ai bot di IA rispetto alla mediana
Anche i dati relativi al numero di richieste hanno mostrato lo stesso andamento sbilanciato: nelle quattro misurazioni a livello di sito, la media variava da 667 a 928 richieste da bot AI per sito al giorno, mentre la mediana variava da 33 a 67. A seconda della misurazione, circa il 20-27% dei siti non ha ricevuto alcuna richiesta da bot AI.
Ecco perché l’affermazione “i bot AI rappresentano il 6% del traffico” non dice praticamente nulla a chi gestisce un sito riguardo al sito stesso. Un sito che non riceve quasi nessun traffico generato dall’intelligenza artificiale e uno in cui il traffico generato dai crawler AI rappresenta la maggior parte dell’attività possono entrambi contribuire alla stessa percentuale complessiva. Le decisioni relative all’infrastruttura devono quindi partire dal singolo sito.
Lo stesso vale per le entità all’origine del traffico. La composizione dei bot è cambiata durante il periodo di rilevamento: nei giorni di minore traffico, Meta e Amazon hanno rappresentato una quota consistente dell’attività dei crawler AI, mentre in altri momenti altri crawler hanno guadagnato quote maggiori. La composizione del traffico che raggiunge un determinato sito o una determinata flotta dovrebbe essere misurata, non data per scontata.
PRIMA DOMANDa
Quanto traffico proveniente dai crawler AI raggiunge effettivamente il sito?
seconda domanda
Cosa succede quando ci arriva?
03. Un rapporto sul traffico conta tutte le richieste allo stesso modo. I server no.
Cosa richiede il traffico AI al sito
Non è più una novità che i bot rappresentino oltre la metà del traffico web. Secondo i dati globali di Cloudflare, attualmente la ripartizione delle richieste alle pagine web è del 57% di bot e del 43% di utenti umani. Cifre come queste inducono chiunque gestisca un sito sito a chiedersi quale percentuale del proprio traffico sia ancora generata da utenti umani. Un report sul traffico conta tutte le richieste allo stesso modo, anche se alcune richiedono uno sforzo di elaborazione da parte del server molto maggiore rispetto ad altre.
Una richiesta a cui è possibile rispondere attingendo dalla cache e una che richiede una risposta dinamica e aggiornata vengono entrambe visualizzate come una singola richiesta in un rapporto sul traffico. Pertanto, il volume indica il livello di attività dei crawler AI che raggiungono un sito, ma non cosa succede quando tali richieste vengono evase.
Abbiamo innanzitutto verificato se i crawler AI trasferissero una maggiore quantità di dati per ogni richiesta. Su cinque misurazioni, questi hanno rappresentato in media il 6,33% delle richieste e il 6,42% della larghezza di banda, con una differenza tra i due valori che non ha mai superato circa un punto percentuale.
La differenza più marcata è emersa nel modo in cui tali richieste sono state evase. Considerando la media delle tre misurazioni, il 76,3% delle richieste effettuate da utenti umani è stato evaso dalla cache, rispetto al 10,4% delle richieste effettuate dai crawler AI. I normali errori di cache hanno registrato valori molto più simili, attestandosi al 3,8% circa per gli utenti umani e al 4,3% per i crawler AI.
Il traffico dinamico ha rappresentato la maggior parte del divario. In media, l’84,1% delle richieste dei crawler AI era diretto a contenuti dinamici, rispetto al 18,6% delle richieste umane. Questo andamento si è confermato in tutte e tre le misurazioni, con il traffico dinamico dei crawler AI che variava dal 76,9% al 90,5%, mentre il traffico umano rimaneva compreso tra il 18,3% e il 18,9%. È proprio nella ricerca di questa risposta che il nostro rapporto ha improvvisamente cambiato direzione. Il dato è reale in base alla scala di misurazione di Cloudflare, e i nostri dati gli si sono rivelati molto vicini. Tra i siti WordPress del nostro campione, in una giornata tipica si registrava circa il 54% di traffico automatizzato e il 46% di traffico umano.
Cosa veniva richiesto al server ogni 100 richieste
Stessa unità di lavoro, composizione opposta. Confrontate le due barre: la forma del flusso umano è quasi esattamente invertita.
I valori rappresentano le medie calcolate su tre giorni di rilevamento.
“Il numero di richieste indica solo la quantità di traffico in entrata. Ciò che conta per l’infrastruttura è dove vengono indirizzate tali richieste e cosa deve fare il sito per soddisfarle.”
Daniel Pataki
CTO di Kinsta
Per i siti WordPress, i contenuti dinamici possono includere risultati di ricerca, elenchi filtrati, variazioni delle stringhe di query, azioni di acquisto e altre risposte che non possono essere semplicemente recuperate da una copia già memorizzata nella cache. Nel nostro report sul traffico AI e bot, abbiamo osservato che un crawler ha generato 3,75 milioni di richieste di “aggiungi al carrello” in 24 ore, mentre un altro modello a ciclo continuo ha prodotto centinaia di milioni di richieste in un periodo più lungo.
Questo modello aiuta a spiegare perché il volume di traffico, da solo, non sia un indicatore completo dell’attività dell’AI. Due siti possono ricevere una quota simile di traffico AI, pur esercitando un carico molto diverso sull’applicazione, a seconda della destinazione di tali richieste.
Non tutte le richieste dei bot provengono da crawler
Il termine “traffico AI” è un termine generico che racchiude diversi comportamenti. Alcuni sistemi effettuano una scansione estesa dei siti, mentre altri recuperano pagine per la ricerca o in risposta a una richiesta dell’utente. OpenAI, Anthropic e Perplexity utilizzano tutte identità separate per i crawler e per le attività innescate dagli utenti, almeno per alcune di queste funzioni.
Questa distinzione è importante perché lo stesso numero di richieste può corrispondere a comportamenti molto diversi. Un crawler che esplora sistematicamente un sito non è la stessa cosa di un agente che recupera una pagina per conto di qualcuno che pone una domanda, e i log del server possono identificare il sistema che effettua la richiesta senza necessariamente rivelarne l’intento.
111,8 milioni
Richieste dei crawler AI nell’arco di 30 giorni
8,3 milioni
Richieste client-agent AI nello stesso periodo
Abbiamo riscontrato questa distinzione nei nostri dati. Il traffico relativo agli assistenti è rimasto relativamente contenuto per gran parte del periodo, per poi registrare un forte aumento in un breve lasso di tempo, con le richieste relative a Claude, Perplexity e Mistral che sono cresciute molto più rapidamente rispetto al traffico di ChatGPT.
Per gli operatori, la lezione utile da trarre è che l’attività dell’AI si comprende meglio in base al tipo e al comportamento piuttosto che considerandola come un’unica, ampia categoria denominata “bot AI”.
04. I log del server mostrano solo un aspetto del percorso.
Cosa succede dopo che l’AI ha indirizzato qualcuno al tuo sito
Finora, in questo rapporto, abbiamo esaminato il sito web dal punto di vista del server, ma i log del server possono mostrare solo una parte di ciò che accade dopo che l’AI comincia il suo percorso.
I sistemi di intelligenza artificiale si frappongono sempre più spesso tra le persone e le fonti a cui un tempo avrebbero potuto accedere direttamente tramite una ricerca, un suggerimento o un link. A volte questa deviazione porta a visitare il sito web originale; altre volte no.
Cosa succede quando quella persona arriva effettivamente al sito?
Il 44,7%
degli intervistati ha dichiarato di visitare sempre o quasi sempre il sito web di un’azienda dopo aver ricevuto un suggerimento da parte dell’AI.
Il 61,1%
ha affermato di associare la qualità del sito web di un’azienda alla qualità dei suoi prodotti o servizi.
Questa cifra non significa che il 44,7% del traffico del sito web provenga dall’intelligenza artificiale; non indica un percorso di provenienza diretto in ogni caso; e non dimostra che tali visitatori abbiano maggiori probabilità di convertire rispetto a chi arriva dai motori di ricerca o da un altro canale.
Ciò che emerge è che il sito web aziendale continua ad avere la sua importanza. Le persone continuano a visitarlo, anche dopo che l’intelligenza artificiale ha già detto loro cosa aspettarsi al suo interno.
Queste due scoperte cambiano il modo in cui dovremmo interpretare i dati relativi alle infrastrutture. I sistemi di intelligenza artificiale possono accedere a un sito web prima ancora che una persona lo veda. Chi alla fine vi accede potrebbe già avere un consiglio, una sintesi o un’impressione formatasi altrove. La sua visita può quindi avere uno scopo diverso rispetto al primo clic di scoperta, attorno al quale i siti web sono stati tradizionalmente progettati.
Potrebbe voler confermare l’esistenza dell’azienda, verificare un’affermazione, esaminare i prezzi, analizzare i dettagli del prodotto, confrontare le alternative o decidere se la raccomandazione sia degna di fiducia.
Quando arriverà quel momento, il sito web dovrà comunque funzionare correttamente.
“L’AI potrà anche cambiare il modo in cui le persone accedono a un sito web, ma alla fine di una lunga catena ci sarà sempre una persona che richiede informazioni.”
Daniel Pataki
CTO di Kinsta
Per i team tecnici, l’affidabilità e la reattività assumono un ruolo ancora più cruciale nell’esperienza aziendale complessiva. E per i professionisti del marketing e i titolari dei brand, l’introduzione dell’intelligenza artificiale non ha eliminato l’infrastruttura di base del sito web dal percorso del cliente.
Le due parti si incontrano sullo stesso sistema.
I sistemi AI richiedono il contenuto.
Le persone si fanno un’idea di ciò che le aspetta.
Con entrambi i segmenti di pubblico che convergono sullo stesso sito, comprendere il proprio traffico diventa il passo successivo più concreto.
Posizione, schema, profilo: tre domande da porsi riguardo al proprio sito.
Una diagnosi del traffico AI a livello di sito
I risultati emersi in questo rapporto indicano un modo semplice per valutare il traffico AI per un singolo sito. Anziché partire da una media di settore, occorre considerare tre aspetti: la quantità di traffico generato dall’intelligenza artificiale che si riceve, il comportamento di tali richieste e chi o cosa vi sta dietro.
“Il traffico AI non richiede la stessa risposta su tutti i siti. Per prendere la decisione giusta, occorre innanzitutto capire cosa sta effettivamente arrivando sul tuo sito e se ciò sta creando un problema.”
Daniel Pataki
CTO di Kinsta
01. posizione
Quanto traffico AI stai effettivamente ricevendo?
Inizia con i tuoi dati di riferimento relativi a un periodo significativo. Esamina le richieste dei crawler AI e la larghezza di banda, quindi confrontale con la distribuzione riportata in questo studio, anziché limitarti a confrontarle con la media dell’intera flotta.
Nella nostra analisi della larghezza di banda, il valore mediano dei siti era pari all’1,57%, il 90° percentile al 17,8% e il 99° percentile al 90,3%. Per quanto riguarda le richieste, circa il 20–27% dei siti non ha ricevuto alcuna richiesta da parte di crawler AI in un determinato giorno di rilevamento.
Lo scopo non è quello di assegnare un percentile definitivo a ogni sito, ma di stabilire se il proprio traffico generato dall’AI sia relativamente limitato, tipico della fascia media della distribuzione o concentrato verso la fascia alta.
02. schema
Cosa chiedono al sito quelle richieste?
Devi analizzare dove si dirigono i crawler AI: i percorsi che richiedono, gli schemi di URL ricorrenti, i parametri di query, le pagine di ricerca e di filtro, le azioni relative agli acquisti e altri percorsi dinamici.
I nostri dati hanno dimostrato perché questo aspetto è importante. In tre diverse misurazioni, tra il 76,9% e il 90,5% delle richieste dei crawler AI ha riguardato contenuti dinamici, rispetto a circa il 18%–19% delle richieste effettuate da utenti umani.
Un sito che riceve un volume moderato di traffico AI, proveniente principalmente da pagine memorizzate nella cache, presenta un quadro infrastrutturale diverso rispetto a uno che riceve lo stesso volume proveniente da percorsi dinamici.
03. profilo
Chi o cosa c’è dietro quelle richieste?
Infine, dove possibile, distingui i diversi tipi di traffico. Un crawler che esplora un sito in modo generico è diverso da un agente attivato dall’utente che recupera una pagina per un’attività specifica, e un’automazione aggressiva potrebbe richiedere una risposta diversa a seconda del caso.
L’obiettivo non è ottenere una classificazione perfetta. La domanda rilevante è se la provenienza e il comportamento del traffico spieghino ciò che si osserva e se vi siano elementi che giustifichino un’analisi più approfondita.
Posizione, schema e profilo contribuiscono a fornire una visione a livello di sito che una percentuale a livello di settore non è in grado di rivelare. Un sito con scarso traffico AI e un comportamento delle richieste nella media potrebbe non richiedere ulteriore attenzione. Un sito che si colloca nella fascia alta della distribuzione, con crawler che raggiungono ripetutamente percorsi dinamici, merita invece un’analisi più approfondita.
conclusione
Ciò che conta è ciò che accade sul tuo sito
Il traffico generato dall’intelligenza artificiale non influisce allo stesso modo su tutti i siti. Una percentuale a livello di flotta può descrivere ciò che sta accadendo su migliaia di siti web, ma non dice quasi nulla riguardo al tuo.
La stessa disparità si riscontra anche nel tipo di operazioni richieste al sito. Nel nostro campione, i crawler AI non hanno consumato una quantità sproporzionatamente maggiore di larghezza di banda, ma erano molto più propensi dei visitatori umani a richiedere contenuti dinamici. La destinazione di tali richieste e il modo in cui il sito deve soddisfarle sono fattori importanti tanto quanto il numero delle richieste stesse.
Nessuno di quei costi infrastrutturali avrebbe importanza se nessuno visitasse i siti. Eppure le persone continuano a farlo. Molti consumatori visitano ancora il sito di un’azienda dopo aver ricevuto un suggerimento dall’intelligenza artificiale, e ciò che vi trovano influenza l’opinione che si fanno dell’azienda. Il sito web si colloca sempre più alle due estremità di questo percorso: fornisce informazioni a cui i sistemi di intelligenza artificiale possono accedere e un’esperienza che le persone possono valutare in prima persona.
Per chi siti web, le medie di settore rappresentano un contesto utile, ma le decisioni che contano devono partire dal proprio traffico. Quanta attività legata all’intelligenza artificiale raggiunge il tuo sito, cosa comportano queste richieste e chi o cosa c’è dietro? Sono queste le domande che trasformano un cambiamento di ampio respiro nel web in qualcosa che puoi effettivamente misurare e gestire.
cosa fare
Parti dal tuo sito
Le medie di settore possono fornire un’idea dell’entità del traffico AI, ma non sono in grado di indicare cosa stia accadendo su un singolo sito web. Misura la quantità di traffico AI che raggiunge il sito, verifica dove vengono indirizzate tali richieste e, ove possibile, identifica le fonti da cui provengono. Successivamente, valuta se quanto emerso richieda un monitoraggio, un’ottimizzazione o un intervento.
Posizione
Quanto ti sta raggiungendo?
Schema
Cosa stanno facendo queste richieste?
Profilo
Chi o cosa c’è dietro?
Scopri com’è il traffico bot sul tuo sito
Questo articolo è stato offerto da Kinsta.
Kinsta è una piattaforma di hosting gestito per WordPress che serve 230.000 clienti in tutto il mondo. La nostra infrastruttura ci offre una visione unica di come i siti web vengano visitati, gestiti e modificati a seguito della crescita del traffico automatizzato.