Nous avons \u00e9galement constat\u00e9 des cas extr\u00eames sur notre propre infrastructure. Dans notre rapport sur le trafic g\u00e9n\u00e9r\u00e9 par l\u2019IA et les robots<\/a>, un robot d\u2019indexation a g\u00e9n\u00e9r\u00e9 3,75 millions de requ\u00eates vers des URL d\u2019ajout au panier en 24 heures. Une autre boucle r\u00e9p\u00e9titive a g\u00e9n\u00e9r\u00e9 des centaines de millions de requ\u00eates avant que nous ne mettions en place une r\u00e8gle pour la bloquer.<\/p>\n Ces cas sont r\u00e9els, mais ils ne refl\u00e8tent pas la situation de tous les sites web.<\/p>\n Dans notre derni\u00e8re analyse<\/a> portant sur plus de 5000 sites WordPress, les robots IA ne repr\u00e9sentaient que 1,57 % de la bande passante sur le site m\u00e9dian, contre 17,8 % au 90e centile et 90,3 % au 99e centile, tandis que plus de 1000 sites n\u2019enregistraient aucune consommation de bande passante li\u00e9e aux robots IA.<\/p>\n C\u2019est cette disparit\u00e9 qui explique pourquoi d\u00e9tecter le trafic des robots IA et diagnostiquer un probl\u00e8me li\u00e9 \u00e0 ces robots sont deux choses diff\u00e9rentes.<\/p>\n Les d\u00e9cisions que vous prendrez ensuite peuvent avoir une incidence sur les performances de votre site, ses int\u00e9grations, sa visibilit\u00e9 dans les moteurs de recherche, ainsi que sur la capacit\u00e9 des outils d\u2019IA \u00e0 mettre en avant votre contenu. Avant de modifier quoi que ce soit, vous devez savoir ce que font r\u00e9ellement ces robots.<\/p>\n Voici quelques erreurs que nous constatons chez les propri\u00e9taires de sites lorsqu\u2019ils n\u00e9gligent cette \u00e9tape.<\/p>\n Si les robots d\u2019IA repr\u00e9sentent 20 % des requ\u00eates de votre site, ce chiffre \u00e0 lui seul ne vous indique pas s\u2019il y a un probl\u00e8me.<\/p>\n Une part importante de requ\u00eates vers des articles mis en cache peut exercer une pression relativement faible sur l\u2019application, tandis qu\u2019un nombre plus restreint de requ\u00eates ciblant de mani\u00e8re r\u00e9p\u00e9t\u00e9e les r\u00e9sultats de recherche, les pages de produits filtr\u00e9es ou les URL de panier peut g\u00e9n\u00e9rer une charge de travail bien plus importante.<\/p>\n C\u2019est l\u2019une des raisons pour lesquelles les statistiques relatives aux robots \u00e0 l\u2019\u00e9chelle du r\u00e9seau doivent \u00eatre interpr\u00e9t\u00e9es avec prudence lorsqu\u2019elles s\u2019appliquent \u00e0 un site individuel.<\/p>\n Nos derni\u00e8res recherches<\/a> ont r\u00e9v\u00e9l\u00e9 que le nombre moyen de requ\u00eates de robots IA par site variait entre 667 et 928 par jour sur quatre mesures, contre une m\u00e9diane de seulement 33 \u00e0 67 requ\u00eates, tandis qu\u2019environ 20 % \u00e0 27 % des sites ne recevaient aucune requ\u00eate de robot IA au cours d\u2019une journ\u00e9e mesur\u00e9e.<\/p>\n En d\u2019autres termes, un petit groupe de sites fortement explor\u00e9s fait grimper la moyenne.<\/p>\n Ainsi, si vous lisez que les robots repr\u00e9sentent plus de la moiti\u00e9 du trafic web, ou si vous voyez un autre propri\u00e9taire de site indiquer que 99 % de son trafic provient de robots, ne vous basez pas sur ce chiffre pour d\u00e9terminer les besoins de votre propre site.<\/p>\n Commencez par analyser votre propre trafic.<\/p>\n Pour les clients de Kinsta, la section \u00ab Protection contre les robots \u00bb<\/a> de MyKinsta indique comment les requ\u00eates sont class\u00e9es, notamment : les utilisateurs probablement humains, les robots v\u00e9rifi\u00e9s, les robots probables, les robots d\u2019exploration IA, les robots d\u2019exploration IA \u00e0 fr\u00e9quence excessive, le trafic automatis\u00e9 et le trafic malveillant.<\/p>\n Vous pouvez ensuite utiliser la rubrique \u00ab Top traffic<\/strong> \u00bb<\/strong> pour consulter les chemins d\u2019acc\u00e8s, les agents utilisateurs, les pays et les adresses IP associ\u00e9s \u00e0 un type de trafic sp\u00e9cifique.<\/p>\n Avant de prendre des mesures, vous devriez \u00eatre en mesure de r\u00e9pondre \u00e0 quelques questions fondamentales :<\/p>\n Notre dernier rapport aborde cette question en examinant la<\/strong> provenance, les sch\u00e9mas et le profil<\/strong> du trafic. Un site recevant tr\u00e8s peu de trafic issu de l\u2019IA et pr\u00e9sentant un comportement de requ\u00eates ordinaire ne n\u00e9cessite peut-\u00eatre aucune intervention, tandis qu\u2019un site confront\u00e9 \u00e0 un trafic de robots d\u2019indexation soutenu vers des URL dynamiques couteuses m\u00e9rite une analyse beaucoup plus approfondie.<\/p>\n Le terme \u00ab robot IA \u00bb recouvre d\u00e9sormais plusieurs types de trafic diff\u00e9rents. Certains robots d\u2019indexation collectent du contenu public pour l\u2019entrainement de mod\u00e8les ou la recherche IA, tandis que d\u2019autres r\u00e9cup\u00e8rent des pages en r\u00e9ponse \u00e0 la requ\u00eate d\u2019un utilisateur.<\/p>\n Ces diff\u00e9rences sont importantes lorsque vous d\u00e9cidez ce que vous autorisez. OpenAI, par exemple, utilise GPTBot pour le contenu susceptible d\u2019\u00eatre utilis\u00e9 afin d\u2019am\u00e9liorer ses mod\u00e8les, tandis qu\u2019OAI-SearchBot contribue \u00e0 rendre les sites web consultables dans la recherche ChatGPT. Bloquer OAI-SearchBot peut donc avoir une incidence sur l\u2019apparition de votre contenu dans les r\u00e9sultats de recherche ChatGPT.<\/p>\n Anthropic op\u00e8re une distinction similaire. ClaudeBot collecte du contenu Web susceptible de contribuer \u00e0 l\u2019entrainement des mod\u00e8les, Claude-SearchBot est utilis\u00e9 pour la recherche, et Claude-User peut r\u00e9cup\u00e9rer un site lorsqu\u2019un utilisateur de Claude en fait la demande.<\/p>\n Perplexity indique que PerplexityBot est utilis\u00e9 pour son index de recherche et que Perplexity-User sert \u00e0 r\u00e9pondre aux requ\u00eates formul\u00e9es par les utilisateurs.<\/p>\n Google propose aux \u00e9diteurs un param\u00e8tre distinct \u00ab Regrouper tous ces syst\u00e8mes sous une seule cat\u00e9gorie \u00ab IA \u00bb revient \u00e0 \u00e9carter des informations qui pourraient vous \u00eatre utiles.<\/p>\n Si vous pr\u00e9f\u00e9rez ne pas consacrer les ressources de votre site \u00e0 l\u2019entrainement des mod\u00e8les, vous pouvez choisir de restreindre l\u2019acc\u00e8s aux robots d\u2019entrainement tout en laissant les syst\u00e8mes de recherche et de r\u00e9cup\u00e9ration accessibles. Si votre probl\u00e8me r\u00e9side dans le fait qu\u2019un agent IA acc\u00e8de de mani\u00e8re r\u00e9p\u00e9t\u00e9e \u00e0 un point de terminaison dynamique, la modification de votre politique relative aux robots d\u2019apprentissage ne suffira peut-\u00eatre pas \u00e0 le r\u00e9soudre.<\/p>\n Une question commerciale se pose \u00e9galement ici. Notre \u00e9tude de consommation a r\u00e9v\u00e9l\u00e9 que 44,7 % des personnes interrog\u00e9es ont d\u00e9clar\u00e9 se rendre toujours ou la plupart du temps sur le site web d\u2019une entreprise apr\u00e8s avoir re\u00e7u une recommandation issue de l\u2019IA. Cela ne signifie pas que l\u2019acc\u00e8s des robots d\u2019IA g\u00e9n\u00e8re automatiquement du trafic de r\u00e9f\u00e9rence, mais cela signifie que la d\u00e9couverte par l\u2019IA m\u00e9rite d\u2019\u00eatre prise en compte avant de prendre une d\u00e9cision g\u00e9n\u00e9rale concernant la visibilit\u00e9.<\/p>\n Chez Kinsta, le contr\u00f4le \u00ab Bloquer les robots d\u2019IA<\/strong> \u00bb<\/strong> permet aux clients de bloquer les robots d\u2019IA, y compris ceux qui sont v\u00e9rifi\u00e9s, sans bloquer les robots des moteurs de recherche traditionnels tels que Googlebot et Bing.<\/p>\n Nous avertissons \u00e9galement nos clients que le blocage des robots d\u2019indexation IA peut r\u00e9duire la visibilit\u00e9 dans les r\u00e9sultats de recherche, les r\u00e9sum\u00e9s ou les recommandations g\u00e9n\u00e9r\u00e9s par l\u2019IA.<\/p>\n Les robots peuvent cr\u00e9er des probl\u00e8mes de s\u00e9curit\u00e9 par le biais de tentatives par force brute, d\u2019attaques DDoS, d\u2019attaques par usurpation d\u2019identifiants et d\u2019autres automatisations abusives, mais un robot d\u2019exploration IA v\u00e9rifi\u00e9 envoyant un trop grand nombre de requ\u00eates l\u00e9gitimes constitue un probl\u00e8me d\u2019un autre ordre.<\/p>\n Lors de notre \u00e9v\u00e8nement en direct consacr\u00e9 au trafic des robots<\/a>, Daniel Pataki, directeur technique de Kinsta, a expliqu\u00e9 pourquoi il s\u2019inqui\u00e8te de la mani\u00e8re dont les propri\u00e9taires de sites r\u00e9agissent lorsque ces deux aspects sont confondus :<\/p>\n \u00ab Je crains davantage une r\u00e9action excessive dans ce cas qu\u2019une r\u00e9action insuffisante, car il ne s\u2019agit pas d\u2019un probl\u00e8me de s\u00e9curit\u00e9. \u00bb<\/em><\/p>\n Il faisait r\u00e9f\u00e9rence au probl\u00e8me plus g\u00e9n\u00e9ral des robots d\u2019indexation bas\u00e9s sur l\u2019IA, o\u00f9 une grande partie du trafic g\u00eanant que nous observons provient de syst\u00e8mes l\u00e9gitimes effectuant une indexation inefficace, plut\u00f4t que d\u2019un attaquant cherchant \u00e0 compromettre le site.<\/p>\n La r\u00e9ponse change lorsque le site est d\u00e9j\u00e0 en difficult\u00e9. Si les robots mobilisent les ressources du serveur, ralentissent les pages ou emp\u00eachent les v\u00e9ritables clients d\u2019utiliser le site, la stabilisation du site est prioritaire. Daniel a recommand\u00e9 de bloquer temporairement le trafic des robots lorsqu\u2019il cause un probl\u00e8me concret, puis d\u2019enqu\u00eater une fois que le site est sous contr\u00f4le.<\/p>\n L\u2019erreur consiste \u00e0 transformer cette mesure d\u2019urgence en une politique permanente sans chercher \u00e0 comprendre ce qui s\u2019est pass\u00e9.<\/p>\n La protection contre les robots de Kinsta<\/a> vous offre plusieurs niveaux de contr\u00f4le, allant d\u2019une protection de base contre le trafic malveillant au blocage des automatisations ou \u00e0 la mise \u00e0 l\u2019\u00e9preuve des robots suspects lorsque une protection plus stricte est n\u00e9cessaire. Les robots d\u2019exploration bas\u00e9s sur l\u2019IA pr\u00e9sentant un taux de requ\u00eates excessif peuvent \u00e9galement \u00eatre soumis \u00e0 des contr\u00f4les aux niveaux de protection appropri\u00e9s.<\/p>\n Un incident soudain affectant les performances peut justifier aujourd\u2019hui des contr\u00f4les plus stricts. Une fois l\u2019incident r\u00e9solu, v\u00e9rifiez ce qui affectait le site et si ces contr\u00f4les plus stricts restent justifi\u00e9s.<\/p>\n Nos donn\u00e9es d’infrastructure permettent de mettre facilement en \u00e9vidence cette diff\u00e9rence. Une requ\u00eate pour un article de blog mis en cache et une autre pour une page de recherche WooCommerce non mise en cache comptent toutes deux comme une seule requ\u00eate, m\u00eame si la seconde peut n\u00e9cessiter bien plus de ressources serveur.<\/p>\n Voici une illustration tir\u00e9e de l\u2019\u00e9v\u00e9nement en direct \u00ab Reality Check \u00bb consacr\u00e9 au trafic des robots <\/a>:<\/p>\n Lorsqu\u2019une page mise en cache est disponible, WordPress peut traiter une grande partie de la requ\u00eate sans avoir \u00e0 r\u00e9g\u00e9n\u00e9rer la page.<\/p>\n Une requ\u00eate dynamique peut n\u00e9cessiter un thread PHP (\u00e9galement appel\u00e9 \u00ab worker \u00bb), des requ\u00eates de base de donn\u00e9es, la g\u00e9n\u00e9ration de la page et, parfois, la gestion de la session avant que WordPress ne puisse renvoyer une r\u00e9ponse. Les activit\u00e9s li\u00e9es au panier et \u00e0 la commande peuvent alourdir encore davantage la charge de travail.<\/p>\n R\u00e9p\u00e9tez maintenant ce processus des milliers de fois.<\/p>\n Sur les trois mesures de notre derni\u00e8re \u00e9tude<\/a>, entre 76,9 % et 90,5 % des requ\u00eates des robots d\u2019indexation bas\u00e9s sur l\u2019IA concernaient du contenu dynamique. Le trafic humain est rest\u00e9 compris entre 18,3 % et 18,9 %.<\/p>\n Cette diff\u00e9rence en dit bien plus long sur la pression potentielle exerc\u00e9e sur l\u2019infrastructure qu\u2019un simple d\u00e9compte brut des requ\u00eates.<\/p>\n Prenons l\u2019exemple de l\u2019incident li\u00e9 \u00e0 l\u2019ajout au panier que nous avons constat\u00e9 lors de notre \u00e9tude sur le trafic des robots IA<\/a>. Un robot d\u2019indexation a g\u00e9n\u00e9r\u00e9 3,75 millions de requ\u00eates en 24 heures, soit environ une requ\u00eate toutes les 23 millisecondes. Chaque requ\u00eate pouvait obliger WordPress \u00e0 effectuer un travail pour un \u00ab visiteur \u00bb qui n\u2019allait jamais rien acheter.<\/p>\n C\u2019est \u00e9galement la raison pour laquelle deux sites pr\u00e9sentant le m\u00eame pourcentage de trafic g\u00e9n\u00e9r\u00e9 par l\u2019IA peuvent se comporter de mani\u00e8re tr\u00e8s diff\u00e9rente.<\/p>\n Un site de contenu o\u00f9 les robots d\u2019indexation demandent principalement des articles mis en cache peut g\u00e9rer un volume important sans trop de difficult\u00e9s, tandis qu\u2019une boutique WooCommerce peut ressentir l\u2019impact bien plus rapidement si un nombre m\u00eame plus restreint de requ\u00eates cible de mani\u00e8re r\u00e9p\u00e9t\u00e9e la recherche, les filtres, les actions du panier, les pages de compte ou d\u2019autres routes non mises en cache.<\/p>\n Une fois que vous avez d\u00e9tect\u00e9 un pic, ne vous arr\u00eatez pas \u00e0 l\u2019agent utilisateur.<\/p>\n Dans MyKinsta, vous pouvez filtrer le trafic le plus important par robots d\u2019indexation IA<\/strong> et inspecter les chemins qu\u2019ils sollicitent le plus souvent.<\/p>\n Comparez ensuite ces informations avec celles relatives au cache, \u00e0 la bande passante du serveur et aux performances afin de d\u00e9terminer si ces requ\u00eates atteignent l\u2019application et g\u00e9n\u00e8rent une charge de travail.<\/p>\n Il est utile de constater la pr\u00e9sence d\u2019 Parfois, le robot n\u2019est que le r\u00e9v\u00e9lateur d\u2019un probl\u00e8me d\u00e9j\u00e0 pr\u00e9sent dans votre structure d\u2019URL.<\/p>\n Les sites WordPress peuvent g\u00e9n\u00e9rer un grand nombre d\u2019URL \u00e0 partir de param\u00e8tres de requ\u00eate, de pages de recherche, d\u2019archives filtr\u00e9es, de pagination, de calendriers, de variantes de produits et d\u2019actions de commerce \u00e9lectronique.<\/p>\n Une personne peut se rendre compte que deux URL l\u00e9g\u00e8rement diff\u00e9rentes m\u00e8nent en substance \u00e0 la m\u00eame page, tandis qu\u2019un robot d\u2019indexation ne voit l\u00e0 que davantage de liens \u00e0 suivre.<\/p>\n Si chaque page g\u00e9n\u00e8re un nouvel ensemble d\u2019URL qui semblent nouvelles, le robot d\u2019indexation peut continuer \u00e0 les suivre. C\u2019est ainsi que vous vous retrouvez avec des sch\u00e9mas qui semblent bien plus agressifs que ce qui \u00e9tait initialement pr\u00e9vu.<\/p>\n Nous avons constat\u00e9 ce ph\u00e9nom\u00e8ne lors de nos pr\u00e9c\u00e9dentes recherches sur l\u2019infrastructure<\/a>. Un mod\u00e8le r\u00e9current a pris une ampleur telle qu\u2019une seule r\u00e8gle con\u00e7ue pour le d\u00e9tecter a filtr\u00e9 550 millions de requ\u00eates en 30 jours.<\/p>\n Bloquer le robot d\u2019indexation peut mettre fin \u00e0 la charge imm\u00e9diate, mais cela ne supprime pas le sch\u00e9ma d\u2019URL qui a permis au robot de d\u00e9couvrir de nouvelles pages.<\/p>\n Lorsqu\u2019un chemin d\u2019acc\u00e8s particulier domine soudainement le trafic des robots d\u2019indexation bas\u00e9s sur l\u2019IA, examinez ce chemin lui-m\u00eame :<\/p>\n Vous pouvez toujours d\u00e9cider de bloquer ou de contrer le robot d’indexation, mais commencez par comprendre ce qui l’a pouss\u00e9 \u00e0 revenir sans cesse.<\/p>\n Ceci est particuli\u00e8rement important pour les agences. Si plusieurs sites de clients utilisent la m\u00eame extension, la m\u00eame configuration WooCommerce, le m\u00eame th\u00e8me ou le m\u00eame mod\u00e8le d\u2019URL, un robot d\u2019indexation agressif peut mettre en \u00e9vidence le m\u00eame probl\u00e8me sur plusieurs sites. Corriger ce comportement peut s\u2019av\u00e9rer plus utile que de tenir \u00e0 jour une liste sans cesse croissante de noms de robots.<\/p>\n Une modification du fichier Le fichier Nous avons abord\u00e9 cette distinction en d\u00e9tail dans notre guide consacr\u00e9 aux robots d\u2019indexation bas\u00e9s sur l\u2019IA<\/a>. Le fichier Ceci est important apr\u00e8s avoir d\u00e9tect\u00e9 un probl\u00e8me de performances, car le simple fait de modifier un fichier peut vous donner l\u2019impression que le probl\u00e8me a \u00e9t\u00e9 r\u00e9solu.<\/p>\n V\u00e9rifiez vos journaux ou vos statistiques relatives aux robots. Si les requ\u00eates provenant du robot d\u2019exploration diminuent apr\u00e8s votre modification de Il en va de m\u00eame lorsque votre probl\u00e8me concerne le d\u00e9bit de requ\u00eates plut\u00f4t que l\u2019acc\u00e8s lui-m\u00eame. Un robot d\u2019indexation peut \u00eatre autoris\u00e9 \u00e0 lire votre contenu tout en continuant \u00e0 l\u2019interroger \u00e0 un d\u00e9bit que votre site ne peut pas g\u00e9rer sans difficult\u00e9.<\/p>\n L\u2019exemple de PatronView<\/a> est utile car la r\u00e9ponse du site s\u2019est appuy\u00e9e sur ses propres donn\u00e9es.<\/p>\n Son audience se trouve en grande majorit\u00e9 en Am\u00e9rique du Nord ; le propri\u00e9taire remet donc en question le trafic provenant d\u2019autres continents. Il a v\u00e9rifi\u00e9 ses donn\u00e9es r\u00e9elles de fr\u00e9quentation avant de soumettre \u00e0 un test les utilisateurs disposant d\u2019anciennes versions de navigateur. Il surveille \u00e9galement le nombre de visiteurs soumis au test qui parviennent effectivement \u00e0 le r\u00e9ussir. Au cours d\u2019une p\u00e9riode donn\u00e9e, seules 0,24 % des plus de 100 000 v\u00e9rifications ont \u00e9t\u00e9 r\u00e9ussies.<\/p>\n Ces chiffres facilitent la justification des r\u00e8gles pour ce site, mais appliquer la m\u00eame configuration \u00e0 une boutique en ligne internationale pourrait finir par bloquer des clients l\u00e9gitimes. Le m\u00eame risque apparait lorsque les \u00e9quipes cumulent plusieurs outils de s\u00e9curit\u00e9, car chacun d\u2019entre eux semble utile en soi.<\/p>\n Un site WordPress peut disposer d\u2019une protection anti-robots au niveau de l\u2019h\u00e9bergement, de r\u00e8gles Cloudflare, d\u2019une extension de s\u00e9curit\u00e9, d\u2019une limitation de d\u00e9bit, de blocages par pays et de r\u00e8gles WAF personnalis\u00e9es, qui prennent tous des d\u00e9cisions concernant la m\u00eame requ\u00eate. Le d\u00e9pannage d\u2019un faux positif devient beaucoup plus difficile lorsque vous ne savez pas quelle couche a pris la d\u00e9cision.<\/p>\n Pour les clients de Kinsta, nous d\u00e9conseillons formellement de combiner la protection anti-robot de Kinsta avec des couches suppl\u00e9mentaires de protection anti-robot personnalis\u00e9es<\/a>. Des classifications contradictoires peuvent entrainer le blocage de visiteurs l\u00e9gitimes ou d\u2019int\u00e9grations.<\/p>\n Des niveaux de protection plus \u00e9lev\u00e9s peuvent \u00e9galement affecter les automatisations l\u00e9gitimes telles que les API, les outils de surveillance, les webhooks et les int\u00e9grations WordPress. MyKinsta inclut donc une option Autoriser les automatisations WordPress courantes<\/strong> ainsi que des exceptions toujours autoris\u00e9es<\/strong>\u00a0pour les adresses IP, les chemins d\u2019acc\u00e8s et les agents utilisateurs de confiance.<\/p>\n Si vous dirigez une agence, un processus standard s\u2019av\u00e8re plus utile qu\u2019un ensemble de r\u00e8gles standard. Vous pouvez appliquer le m\u00eame processus \u00e0 20 sites clients en identifiant le trafic, en inspectant ses chemins d\u2019acc\u00e8s, en v\u00e9rifiant les performances, en choisissant un contr\u00f4le, en le testant et en surveillant le r\u00e9sultat.<\/p>\n Commencez par analyser ce qui se passe sur votre site. Si le trafic de robots affecte les visiteurs r\u00e9els, prot\u00e9gez d\u2019abord le site, puis examinez le volume de trafic que vous recevez, les chemins qu\u2019il emprunte et les syst\u00e8mes en cause.<\/p>\n \u00c0 partir de l\u00e0, optez pour la modification la plus modeste permettant de r\u00e9soudre le probl\u00e8me. Cela peut consister \u00e0 mettre \u00e0 jour Les clients de Kinsta peuvent effectuer une grande partie de cette analyse directement dans MyKinsta. Les analyses sur le trafic des robots<\/a> distinguent les robots d\u2019exploration IA, les robots d\u2019exploration IA \u00e0 fr\u00e9quence excessive, les robots v\u00e9rifi\u00e9s, le trafic automatis\u00e9 et d\u2019autres types de requ\u00eates, tandis que la rubrique Top trafic<\/strong> affiche les chemins d\u2019acc\u00e8s, les agents utilisateurs, les pays et les adresses IP qui se cachent derri\u00e8re eux.<\/p>\n Vous pouvez \u00e9galement comparer cette activit\u00e9 avec le comportement du cache<\/a>, la bande passante du serveur<\/a> et les performances PHP<\/a> afin de d\u00e9terminer si le trafic exerce r\u00e9ellement une pression sur votre site avant de d\u00e9cider quoi bloquer.<\/p>\n","protected":false},"excerpt":{"rendered":" Lorsque vous constatez qu\u2019une grande partie du trafic de votre site provient de robots, leur blocage peut sembler \u00eatre la suite logique. Dans certains cas, les …<\/p>\n","protected":false},"author":287,"featured_media":84660,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_kinsta_gated_content":false,"_kinsta_gated_content_redirect":"","footnotes":""},"tags":[],"topic":[1082,1081],"class_list":["post-84659","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","topic-crawlers-web","topic-trafic-des-robots"],"yoast_head":"\nErreur n\u00b0 1 : consid\u00e9rer le pourcentage comme un diagnostic<\/h2>\n
![\"Graphique](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/kinsta-bot-protection-data.png\")
![\"Rapport](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/top-traffic-bot-data.png\")
\n
Erreur n\u00b0 2 : bloquer tous les robots sous pr\u00e9texte que le trafic est automatis\u00e9<\/h2>\n
Google-Extended<\/code> \u00bb (Autorisation de l\u2019IA) permettant de contr\u00f4ler la mani\u00e8re dont le contenu explor\u00e9 peut \u00eatre utilis\u00e9 avec Gemini. Google pr\u00e9cise explicitement que la modification de ce param\u00e8tre n\u2019a aucune incidence sur l\u2019inclusion ou le classement dans la recherche Google.<\/p>\n![\"Bloquer](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/block-ai-crawlers.png\")
Erreur n\u00b0 3 : consid\u00e9rer chaque pic d\u2019activit\u00e9 des robots d\u2019indexation IA comme une urgence de s\u00e9curit\u00e9<\/h2>\n
![\"S\u00e9lectionnez](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/chnage-bot-protection-level.png\")
Erreur n\u00b0 4 : surveiller le volume de requ\u00eates sans tenir compte de leur destination<\/h2>\n
![\"Requ\u00eate](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/website-request-flow.png\")
![\"Filtrer](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/filter-traffic-type.png\")
![\"Principales](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/top-requests-server-bandwidth.png\")
GPTBot<\/code> ou d\u2019un autre robot d\u2019indexation en t\u00eate d\u2019un rapport. Le fait de constater que des milliers de ses requ\u00eates sont dirig\u00e9es vers \/blog\/<\/code> vous indique une chose. Le fait de constater qu\u2019elles sont dirig\u00e9es vers des r\u00e9sultats de recherche ou une URL WooCommerce param\u00e9tr\u00e9e vous indique autre chose.<\/p>\nErreur n\u00b0 5 : bloquer le robot d\u2019indexation et laisser le pi\u00e8ge d\u2019indexation en place<\/h2>\n
\n
Erreur n\u00b0 6 : supposer que le fichier robots.txt a stopp\u00e9 le trafic<\/h2>\n
robots.txt<\/code> peut constituer la bonne r\u00e9ponse lorsque vous souhaitez demander \u00e0 un robot d\u2019indexation r\u00e9put\u00e9 de ne pas acc\u00e9der \u00e0 tout ou partie de votre site, mais vous devez tout de m\u00eame v\u00e9rifier le trafic par la suite.<\/p>\nrobots.txt<\/code> repose sur le fait que le robot d\u2019indexation respecte l\u2019instruction et n\u2019emp\u00eache pas physiquement la requ\u00eate d\u2019atteindre votre site.<\/p>\nrobots.txt<\/code> communique vos pr\u00e9f\u00e9rences d\u2019indexation, tandis que le fichier llms.txt<\/code> fournit un index de contenu structur\u00e9 aux outils qui choisissent de le lire. L\u2019application de ces r\u00e8gles se fait ailleurs.<\/em><\/p>\nrobots.txt<\/code>, vous disposez d\u2019une preuve que cela a fonctionn\u00e9. Si le trafic persiste, ou si vous \u00eates confront\u00e9 \u00e0 un autre syst\u00e8me automatis\u00e9 qui ne respecte pas les instructions, vous avez besoin d\u2019un m\u00e9canisme de contr\u00f4le de l\u2019application.<\/p>\nErreur n\u00b0 7 : copier les r\u00e8gles de pare-feu d\u2019un autre site sans v\u00e9rifier ce qu\u2019elles bloqueraient<\/h2>\n
![\"Autoriser](\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/08\/allow-typical-wp-automation-and-exceptions.png\")
Que faire lorsque vous d\u00e9tectez du trafic provenant de robots IA ?<\/h2>\n
robots.txt<\/code>, \u00e0 bloquer ou \u00e0 interroger un robot d\u2019indexation, \u00e0 corriger un mod\u00e8le d\u2019URL indexable, ou \u00e0 ne rien faire si le trafic ne cause aucun pr\u00e9judice.<\/p>\n