Ajouter comme source préférée sur Google
Le trafic généré par les robots occupe une place de plus en plus importante sur le Web et constitue un enjeu majeur pour toute personne chargée de la gestion d’un site. C’est ce qu’a confirmé l’analyse réalisée par Kinsta sur plus de 10 milliards de requêtes en un an, au cours de laquelle le trafic généré par les robots basés sur l’IA aurait augmenté d’environ 300 %.
Face à l’augmentation du trafic automatisé, la gestion des robots doit être proactive dans la mesure du possible, avant que des activités inhabituelles ne nuisent aux performances du site ou ne consomment des ressources excessives. Cela ne signifie toutefois pas qu’il faille bloquer tous les robots. Une partie du trafic automatisé, comme les robots d’indexation et les outils de surveillance, est bénéfique, tandis que d’autres robots peuvent consommer des ressources sans pour autant être activement malveillants.
À l’autre extrémité du spectre, certains types de trafic généré par des robots peuvent entrainer de graves problèmes de performances ou de sécurité et doivent être stoppés rapidement. Le défi consiste à déterminer à quoi vous avez affaire et à choisir une réponse appropriée.
Mieux vaut planifier que de céder à la panique
La meilleure réaction n’est ni de céder à la panique ni de tout bloquer. Vous pouvez plutôt suivre ce processus reproductible :
- Évaluez l’impact. Comprenez ce qui se passe et identifiez le trafic en cause.
- Stabilisez rapidement le site si nécessaire.
- Élaborez un plan de gestion à plus long terme en décidant ce qu’il convient d’autoriser, de filtrer ou de bloquer.
- Surveillez les résultats, affinez votre stratégie si nécessaire et consignez-la pour l’avenir.
Examinons cela plus en détail. À la fin, nous vous proposerons une liste de contrôle que vous pourrez utiliser.
1. Déterminer ce qui se passe : s’agit-il d’un problème lié aux robots ou d’une véritable attaque ?
Avant de prendre toute mesure concernant le trafic de robots, il est important de comprendre ce qui se passe sur votre site :
- Votre site est-il confronté à des problèmes courants liés aux robots qui, bien qu’il soit important de les traiter de manière proactive, ne constituent pas des urgences graves ?
- Votre site est-il activement la cible d’une attaque menée par un acteur malveillant ? Ou, même s’il ne s’agit pas d’une action intentionnellement malveillante, existe-t-il un type spécifique de trafic automatisé qui consomme trop de ressources et provoque des problèmes graves ?
Si vous constatez qu’il s’agit d’une attaque délibérée ou d’un autre type de problème grave, votre priorité absolue doit être de stabiliser votre site le plus rapidement possible. Nous vous expliquons comment procéder ci-dessous.
Cependant, même si le trafic de robots sur votre site ne pose pas de problème pour le moment, il est préférable de gérer les robots de manière proactive plutôt que réactive. Cette approche vous permet de traiter les robots avant qu’ils ne commencent à affecter le trafic légitime de votre site.
Les analyses du trafic de robots de Kinsta peuvent vous aider à comprendre quels types de robots accèdent aux différentes parties de votre site. Vous pouvez utiliser ces informations pour comprendre ce qui se passe et savoir comment gérer les différents types de trafic de robots.
Les analyses de répartition des requêtes vous montrent le trafic vers votre site ventilé par catégories :
- Utilisateurs probablement humains
- Robots vérifiés (selon Cloudflare)
- Probablement des robots
- Robots d’indexation IA
- Robots d’exploration IA à fréquence excessive
- Trafic non classé
- Trafic automatisé
- Trafic malveillant
- Règles personnalisées configurées pour votre site par Kinsta
- Automatisations WordPress
Si vous faites défiler la page jusqu’à la section Top traffic, vous pouvez consulter les principaux chemins d’accès, agents utilisateurs, pays et adresses IP pour les différentes catégories de trafic.
Cela vous permet de voir quels types de robots — et même quels robots spécifiques — accèdent aux différentes parties de votre site. Utilisez ces informations pour déterminer si votre site reçoit un trafic de robots légitime ou s’il est victime d’une attaque malveillante.
Le site est-il sous pression ?
Le fait que votre site soit ou non sous pression est l’un des facteurs les plus importants pour évaluer la gravité de la situation.
Vérifiez si l’un des phénomènes suivants se produit :
- Ralentissement du chargement des pages ou erreurs
- Augmentation de l’utilisation du serveur, de PHP ou de la base de données
- Des pics de trafic qui ne correspondent pas aux visiteurs légitimes ni aux indicateurs habituels
- Un grand nombre de requêtes visant les mêmes URL
Si vous constatez ces problèmes, votre site est probablement soumis à une certaine pression. Il est important de le savoir, car ces problèmes auront un effet négatif sur le trafic légitime et nécessitent une stabilisation rapide.
2. Stabiliser le site si nécessaire
Si les visiteurs légitimes sont déjà affectés, vous n’avez pas besoin de mener une enquête approfondie avant d’agir. Commencez par stabiliser le site afin qu’il fonctionne correctement pour les visiteurs légitimes. Affinez ensuite vos règles une fois que la pression immédiate est maitrisée.
En revanche, si votre site ne rencontre actuellement aucun problème et que vous vous attaquez simplement de manière proactive au trafic de robots, vous pouvez passer directement à une approche plus approfondie de la gestion de ce trafic.
Pour les problèmes aigus nécessitant une stabilisation immédiate, vous devriez envisager les mesures suivantes :
- Renforcez temporairement la protection contre les robots. Utilisez des outils tels que la protection Kinsta contre les robots pour protéger rapidement votre site contre les robots.
- Bloquez le trafic manifestement abusif. Cela vous permet d’arrêter les pires contrevenants avant qu’ils n’atteignent votre site.
- Soumettez le trafic suspect à des vérifications. Pour le trafic dont vous n’êtes pas certain, vous pouvez ajouter des vérifications afin de vous assurer de sa légitimité. Nous aborderons plus en détail la signification du terme « vérification » dans la section suivante.
- Préservez l’accès aux robots d’exploration et aux intégrations essentielles. Cela garantit que les fonctions clés de votre site et vos indicateurs commerciaux (tels que les classements dans les résultats de recherche Google) ne soient pas affectés.
La protection anti-robots de Kinsta offre un moyen rapide de stabiliser votre site, tout en vous laissant la flexibilité nécessaire pour élaborer une stratégie optimisée pour ce site.
Kinsta bloque déjà le trafic classé comme malveillant grâce à ses protections de sécurité de base, mais des niveaux de protection contre les robots plus stricts peuvent s’avérer utiles face au trafic automatisé qui n’est pas nécessairement classé comme malveillant.
Par exemple, vous pourriez soumettre à une vérification tous les robots non vérifiés ou tous les visiteurs.
Bien que ces approches soient plus agressives que ce dont la plupart des sites ont besoin à long terme, elles constituent un excellent moyen de stabiliser rapidement votre site et de reprendre le contrôle de la situation pendant que vous élaborez une stratégie plus affinée.
3. Décider ce qu’il convient d’autoriser, de défier ou de bloquer
Une fois que vous êtes certain que votre site est stable, vous pouvez élaborer une stratégie à plus long terme pour gérer le trafic des robots.
Vous pouvez mettre en place cette stratégie en choisissant d’autoriser, de défier ou de bloquer différents types de robots.
Voici ce que signifient ces termes :
- Autoriser : permet à la requête d’accéder à votre site.
- Défier : exige que la requête passe par une étape de vérification supplémentaire avant d’accéder au site. Avec Kinsta, un visiteur qui réussit cette vérification ne sera généralement plus sollicité pendant au moins 10 jours s’il utilise le même navigateur et la même adresse IP.
- Bloquer : empêche la requête d’accéder à votre site.
Lorsque vous choisissez d’autoriser, de défier ou de bloquer différents types de bots, vous devez vous appuyer sur les critères suivants :
- Le robot apporte-t-il une valeur ajoutée ? Par exemple, les robots d’indexation des moteurs de recherche aident votre site à générer du trafic issu du référencement naturel, et certains robots d’IA peuvent contribuer à la visibilité ou aux citations dans les réponses générées par l’IA. En revanche, un robot de scraping qui n’envoie aucun trafic vers votre site n’apporte probablement aucune valeur ajoutée.
- Combien vous coute le trafic généré par les robots ? Analysez ce que ce trafic vous coute en termes de ressources serveur (puissance de calcul, bande passante et requêtes de base de données) et d’impact sur les performances pour les visiteurs légitimes. N’oubliez pas que toutes les requêtes ne se valent pas : un robot accédant à un article de blog mis en cache « coute » généralement beaucoup moins cher qu’un robot accédant à une page dynamique (telle que le panier WooCommerce).
- Que se passe-t-il si vous bloquez le robot ? Réfléchissez aux conséquences du blocage du robot. Par exemple, bloquer Googlebot peut empêcher Google d’explorer et d’indexer correctement votre contenu, ce qui peut nuire gravement à votre visibilité dans la recherche Google. En revanche, vous pouvez bloquer de nombreux autres robots sans conséquence pour votre site.
Voici comment ces questions pourraient se présenter :
- Autoriser : envisagez cette approche lorsque le trafic est légitime et utile.
- Bloquer : envisagez cette approche lorsque le trafic est clairement indésirable, abusif ou qu’il engendre des couts disproportionnés.
- Défier : envisagez cette option dans les situations où la réponse appropriée n’est pas évidente.
Il est important de noter que vous n’êtes pas obligé d’appliquer ces règles de manière uniforme à l’ensemble de votre site. Vous pouvez souhaiter autoriser une catégorie de robots pour certains contenus de votre site, mais les défier ou les bloquer pour d’autres contenus.
La protection anti-robots de Kinsta vous aide à mettre en œuvre ces règles flexibles en ajoutant des exceptions basées sur l’adresse IP, le chemin d’accès, l’agent utilisateur ou le pays.
Conseils pour répondre à des scénarios spécifiques de trafic de robots
Pour illustrer comment vous pourriez appliquer ces principes à un site WordPress, examinons quelques scénarios courants liés aux robots et la manière dont vous pourriez y répondre.
Il ne s’agit pas d’une liste exhaustive de toutes les situations possibles. Il s’agit plutôt de quelques exemples courants destinés à vous donner une idée de la manière dont ces principes pourraient s’appliquer à un site web réel.
Un robot d’indexation génère un trafic important
Si un robot d’indexation génère un grand nombre de requêtes et que vous vous inquiétez de la charge du serveur, voici comment vous pourriez y remédier.
Commencez par répondre aux questions suivantes :
- Quelles URL sont explorées ?
- Le robot d’indexation accède-t-il à du contenu utile et indexable ?
- Se retrouve-t-il bloqué dans des réglages, des filtres ou des points de terminaison dynamiques ? En somme, des URL qui ne devraient pas être indexées.
- Les performances réelles en pâtissent-elles réellement ?
En fonction de ces réponses, vous pouvez réagir de la manière suivante :
- Ne bloquez pas automatiquement le robot d’exploration. Examinez les problèmes d’exploration et les inefficacités plutôt que de bloquer l’ensemble du robot.
- Veillez à préserver l’accès au contenu indexable de valeur.
- Limitez ou découragez l’exploration des variantes d’URL dynamiques superflues.
Les robots d’indexation basés sur l’IA consomment des ressources importantes
Les robots d’exploration basés sur l’IA peuvent générer un grand nombre de requêtes, mais il peut être difficile d’évaluer s’ils apportent une réelle valeur ajoutée.
Voici quelques questions qui peuvent vous aider à y voir plus clair :
- Accordez-vous de l’importance à la visibilité et aux citations générées par l’IA ?
- Le robot d’indexation génère-t-il un trafic de référence pertinent ?
- Se contente-t-il principalement de collecter du contenu sans bénéfice évident ? Il y a une différence entre contribuer gratuitement à l’entrainement d’un modèle d’IA et renforcer votre visibilité et vos citations en matière d’IA.
- Ce trafic consomme-t-il des ressources d’infrastructure importantes ?
N’oubliez pas que vous n’avez pas besoin de traiter tous les robots d’indexation IA de la même manière. Vous constaterez peut-être que certains robots apportent plus de valeur que d’autres, et il est utile d’en tenir compte dans votre réponse. Les outils de protection contre les robots de Kinsta peuvent vous aider à créer des règles distinctes pour différents robots d’indexation.
Une fois que vous aurez répondu à ces questions, vous pourrez envisager de répondre comme ceci :
- Autorisez les robots d’IA utiles si leur accès correspond à vos objectifs.
- Bloquez ou limitez les robots d’indexation agressifs.
- Bloquez les robots d’indexation basés sur l’IA si leur trafic apporte peu de valeur ajoutée et engendre des couts de ressources importants.
Les robots accèdent à des points de terminaison dynamiques couteux
Les visites de robots sur des points de terminaison dynamiques peuvent consommer nettement plus de ressources que les visites sur des pages statiques mises en cache.
Sur WordPress, ces points de terminaison peuvent notamment inclure des pages telles que les paniers d’achat, les pages de commande, les recherches, les pages de connexion, etc. Ce phénomène est fréquent sur les boutiques WooCommerce, mais il touche également d’autres types de sites.
Bien que ce trafic de robots ne soit pas nécessairement malveillant, il pose problème pour plusieurs raisons :
- Les requêtes peuvent contourner le cache.
- Un traitement PHP est nécessaire.
- Des requêtes de base de données peuvent être exécutées.
- Les clients légitimes se disputent les mêmes ressources.
Si vous rencontrez ce type de requêtes, voici comment vous pourriez y remédier :
- Protégez les points de terminaison spécifiques qui sont couteux.
- Empêchez l’accès inutile des robots d’indexation aux fonctionnalités du panier et de la commande.
- Ne bloquez pas l’accès des robots d’indexation à l’ensemble du site, car vous souhaitez généralement qu’ils puissent continuer à accéder aux autres contenus.
- Examinez la prolifération des paramètres d’URL et les boucles d’exploration.
- Surveillez les performances du serveur après avoir appliqué la modification.
Un robot de scraping inconnu explore des milliers d’URL
Dans certaines situations, vous pouvez être confronté à un robot non identifié qui effectue un exploration intensive sans apporter de valeur évidente à votre site.
Un robot inconnu n’est pas nécessairement malveillant, mais il mérite néanmoins une analyse plus approfondie. Cela est particulièrement vrai si ce robot est « couteux » et consomme beaucoup de ressources.
Voici une approche équilibrée que vous pouvez adopter :
- Vérifiez son agent utilisateur, ses adresses IP, ses chemins d’accès et le comportement de ses requêtes.
- Déterminez s’il s’agit d’une intégration dont vous dépendez réellement.
- Remettez-le en question en cas de doute.
- Bloquez-le si le trafic est manifestement indésirable et cause des problèmes.
- Surveillez l’apparition de tout problème sur votre site (au cas où ce bot s’avèrerait être à l’origine d’un service ou d’une intégration importante).
- Soyez attentif à toute rotation d’identité ou à toute modification des schémas de requêtes.
4. Surveiller les résultats et ajustez votre stratégie si nécessaire
Une fois votre stratégie de gestion des robots mise en œuvre, il est important de surveiller les résultats afin de vous assurer que celle-ci fonctionne comme prévu.
Prêtez attention aux données clés, notamment les analyses de trafic, l’utilisation des ressources, la visibilité dans les moteurs de recherche, les citations/références issues de l’IA et d’autres indicateurs commerciaux pertinents.
Voici quelques questions spécifiques sur lesquelles vous concentrer lors du suivi de votre site :
- Le trafic indésirable a-t-il diminué ?
- Les performances du serveur se sont-elles améliorées ?
- Les robots d’indexation légitimes fonctionnent-ils toujours ?
- Certaines intégrations ont-elles cessé de fonctionner ?
- Avez-vous accidentellement bloqué du trafic utile ?
En fonction des réponses à ces questions, vous pourrez déterminer si vous devez prendre des mesures supplémentaires :
- Tout est acceptable : vous pouvez laisser vos règles telles quelles. Continuez à vérifier de temps à autre que rien n’a changé.
- Vous rencontrez toujours des problèmes avec les robots : vous devrez peut-être ajuster davantage les règles de votre site afin d’être plus strict en matière de blocage, de vérification et/ou de limitation du débit du trafic généré par les robots.
- Les visiteurs légitimes ou les « bons » robots rencontrent des problèmes : vous devrez peut-être ajouter des exceptions ciblées ou assouplir les règles de votre site.
Synthèse : une liste de contrôle pour la gestion des robots
Pour résumer ce que nous avons abordé, terminons par une liste de contrôle claire sur la gestion des robots, que vous pouvez utiliser pour gérer les robots sur votre site.
Idéalement, vous pouvez mettre en œuvre ces étapes de manière proactive avant que les bots ne deviennent un problème, mais cette liste de contrôle s’applique également dans le cas où vous devez réagir à un problème immédiat.
Lorsque vous constatez pour la première fois un trafic inhabituel
- Le site rencontre-t-il réellement des problèmes de performances ?
- Ce trafic est-il généré par des utilisateurs humains, automatisé, malveillant, ou une combinaison de ces éléments ?
- Quelles URL reçoivent ce trafic ?
- Ces URL sont-elles mises en cache ou générées dynamiquement ?
- Quels sont les agents utilisateurs, les adresses IP et les types de trafic en cause ?
Si le site est soumis à une forte charge
- Commencez par stabiliser le site.
- Renforcez la protection contre les robots si nécessaire.
- Filtrez ou bloquez le trafic à l’origine du problème immédiat.
- Préservez les robots d’exploration et les intégrations essentielles dans la mesure du possible.
Une fois le site stabilisé
- Déterminez si le trafic apporte une valeur ajoutée à l’entreprise.
- Examinez le cout de son infrastructure.
- Décidez s’il convient de l’autoriser, de le filtrer ou de le bloquer.
- Apportez des modifications ciblées.
- Protégez les terminaux couteux.
Après l’incident
- Surveillez les résultats.
- Adaptez les règles si nécessaire, qu’il s’agisse d’ajouter des exceptions, de renforcer les règles, etc.
- Consignez ce qui s’est passé.
- Réexaminez la politique à intervalles réguliers.
Kinsta peut vous aider à vous adapter à la nouvelle normalité
Le trafic généré par les robots fait désormais partie intégrante de l’exploitation d’un site web. Cependant, étant donné que certains robots jouent un rôle essentiel et apportent une réelle valeur ajoutée à votre site, la stratégie consistant à « bloquer tous les robots » n’est ni réaliste ni souhaitable pour gérer ce trafic sur un site.
Élaborez plutôt une stratégie proactive qui tienne compte de la valeur et du cout des différents bots sur les différentes parties de votre site.
Les outils et les analyses de protection contre les robots de Kinsta offrent aux propriétaires de sites WordPress et aux agences la visibilité et les contrôles nécessaires pour gérer le trafic automatisé sans traiter tous les bots de la même manière. Si vous souhaitez les essayer par vous-même, découvrez dès aujourd’hui les plans d’hébergement de Kinsta.
Steve Bonisteel est un rédacteur technique chez Kinsta qui a commencé sa carrière d'écrivain en tant que journaliste de presse écrite, chassant les ambulances et les camions de pompiers. Il couvre les technologies similaires à l'Internet depuis la fin des années 1990.
