Protection contre les robots

Avec la protection contre les robots de Kinsta, vous pouvez contrôler la façon dont les différents types de trafic sont bloqués ou contestés sur votre site.

La protection contre les robots de Kinsta ajoute une couche supplémentaire à la sécurité intégrée de notre plateforme. Notre protection par défaut bloque le trafic malveillant ; elle filtre automatiquement le trafic malveillant visant des points de terminaison spécifiques et le trafic provenant d’adresses IP liées à des menaces connues. En plus des contrôles de sécurité internes de Kinsta, le pare-feu d’entreprise de Cloudflare arrête de nombreuses attaques avant même qu’elles n’atteignent votre serveur, en utilisant un ensemble de règles strictes pour filtrer le trafic entrant et bloquer les IP associées à des tentatives de piratage et à des attaques DDoS.

Kinsta surveille également de manière proactive le trafic entrant quotidien afin de détecter les menaces et les infections potentielles sur l’ensemble de la plateforme. Pour mieux protéger vos données, nous utilisons des pare-feu matériels ainsi que des mesures de sécurité actives et passives et d’autres mesures de protection avancées pour empêcher tout accès non autorisé.

Par défaut, les défenses de Kinsta au niveau de la plateforme arrêtent environ 15 à 20 % du trafic classé comme malveillant avant qu’il n’ait un impact sur votre site. Cette couche fondamentale cible les requêtes clairement nuisibles et les sources de menace connues à travers le réseau. Comme le comportement du trafic et les exigences commerciales diffèrent d’un site à l’autre, une flexibilité supplémentaire peut s’avérer importante. La protection contre les robots de Kinsta renforce cette base en vous permettant d’affiner la manière dont les différentes catégories de trafic sont traitées, que ce soit pour réduire la charge pendant les pics d’activité ou pour appliquer des contrôles de sécurité plus stricts.

Kinsta exclut automatiquement le trafic provenant de robots bien connus et reconnaissables des calculs d’utilisation du plan. Les agents utilisateurs qui s’identifient clairement comme des robots ou des crawlers sont filtrés des analyses et ne sont pas pris en compte dans votre consommation. Dans certains cas, le trafic automatisé qui ressemble de près à un comportement humain peut encore apparaître dans vos mesures. Si vous observez des schémas de trafic inhabituels, l’activation d’un niveau supérieur de protection contre les robots peut vous aider à déterminer si des robots en sont responsables. Bien qu’ils soient exclus de la facturation, de grands volumes de requêtes automatisées provenant de robots clairement identifiés ou de robots d’indexation peuvent encore affecter les performances s’ils ne sont pas gérés.

Qu’est-ce qu’un robot ?

Les robots sont des requêtes identifiées comme provenant d’un logiciel automatisé plutôt que d’utilisateurs humains. Kinsta maintient son propre système de classification des robots, basé sur les modèles de trafic observés sur notre plateforme et les normes de l’industrie, afin d’identifier et de catégoriser le trafic automatisé, en particulier les robots qui génèrent de grands volumes de requêtes ou qui augmentent la charge sur les sites.

Nous complétons ce système avec la classification des robots en temps réel de Cloudflare, basée sur l’apprentissage automatique, qui attribue aux visiteurs un score de 1 à 99, indiquant la probabilité qu’une requête soit automatisée. Un score de 1 indique qu’il est très probable que la demande soit automatisée, tandis qu’un score de 99 indique que la demande provient très probablement d’un humain.

Comment le trafic est classé dans MyKinsta

Dans MyKinsta, le trafic est classé selon les catégories suivantes :

• Robots vérifiés : trafic automatisé provenant d’entreprises légitimes et vérifiées, telles que Google, Bing, les outils de suivi et de référencement. Kinsta autorise la plupart des robots vérifiés, quel que soit le niveau de protection sélectionné. Les robots vérifiés comprennent ceux qui figurent sur la liste officielle des robots vérifiés de Cloudflare, tels que le robot Kinsta uptime, les principaux robots des moteurs de recherche, de nombreux robots API (y compris les outils de gestion WordPress) et les robots d’intelligence artificielle.
  En outre, Kinsta applique ses propres règles de classification en plus de cette liste. Les robots d’IA et les robots à taux excessif peuvent être reclassés même s’il s’agit de robots vérifiés, ce qui garantit que le trafic automatisé qui génère une charge importante est catégorisé et géré de manière appropriée.
  Les robots vérifiés que nous autorisons garantissent que votre référencement, vos classements de recherche et votre visibilité dans les outils pilotés par l’IA ne sont jamais affectés négativement.
• Des humains probables : visiteurs réels qui sont très probablement des humains ayant un comportement de navigation normal. Ils ont des scores de robot compris entre 30 et 99.
• Robots probables : automatisation non vérifiée détectée ; ces visiteurs sont très probablement des robots, avec des scores de robot compris entre 2 et 29.
• Trafic non classifié : trafic qui n’a pas pu être classé avec certitude ; il s’agit d’un très faible volume de trafic, généralement inoffensif. Il s’agit généralement de demandes de services internes qui n’ont pas d’impact sur le serveur d’origine, telles que les demandes générées lorsque votre site renvoie une page d’erreur. Il représente moins de 0,07 % du trafic total, et seul un tiers environ de ce trafic est finalement servi.
  
• Trafic automatisé : requêtes automatisées confirmées générées par des logiciels plutôt que par des utilisateurs humains. Ce trafic est définitivement identifié comme une activité de robot avec un score de robot de 1. Lorsque vous réglez la protection contre les robots de Kinsta sur une valeur supérieure au blocage du trafic malveillant, elle bloque le trafic automatisé.
  Cette catégorie peut inclure des outils et des services légitimes qui se connectent à votre site mais qui ne sont pas classés comme des robots vérifiés, tels que certains outils de gestion WordPress, des intégrations API personnalisées, des moniteurs de temps de fonctionnement, des scripts de déploiement ou des services tiers qui font des requêtes automatisées sans identification appropriée.
  Si vous utilisez l’un de ces outils pour votre site WordPress et que vous augmentez la protection contre les robots de Kinsta pour bloquer le trafic malveillant, nous vous recommandons de vérifier qu’ils figurent sur la liste des robots vérifiés de Cloudflare. Si le service n’est pas listé, le fournisseur du service peut l’enregistrer pour vérification afin d’éviter qu’il ne soit bloqué ; cet enregistrement peut prendre un certain temps.
  
• Trafic malveillant : attaque, DDoS et trafic abusif. Trafic automatiquement bloqué pour tous les sites dans le cadre de la protection de sécurité par défaut de Kinsta. Cela inclut l’atténuation DDoS et des règles globales pour les IP et les points de terminaison utilisés exclusivement par le trafic malveillant. Kinsta combine ces protections avec une surveillance continue, des pare-feu matériels et des mesures de sécurité avancées pour assurer la sécurité de votre site. Bien que la sécurité de base filtre environ 15 à 20 % du trafic malveillant avant qu’il n’atteigne votre site, les robots évolutifs qui imitent de vrais utilisateurs peuvent encore nécessiter des protections supplémentaires, telles qu’un niveau plus élevé de la protection contre les robots de Kinsta.
• Taux excessif de robots d’indexation : les crawlers d’IA qui font des requêtes qui surchargent les ressources du serveur ; ce sont des robots d’IA indésirables.

Qu’est-ce qu’un défi ?

Un défi ajoute une étape de vérification qui aide à déterminer si le trafic entrant provient d’un utilisateur réel ou d’un logiciel automatisé. Plutôt que d’autoriser ou de bloquer immédiatement une demande, les défis agissent comme un filtre, laissant passer les visiteurs légitimes tout en arrêtant de nombreux robots indésirables.

Lorsqu’une visite est contestée, la demande est temporairement bloquée pendant que le visiteur effectue une étape de vérification pour prouver qu’il est légitime. Cette approche permet de réduire le trafic abusif ou automatisé tout en minimisant les perturbations pour les utilisateurs réels.

L’étape de vérification peut comprendre

• Un défi basé sur le navigateur (par exemple, des vérifications JavaScript)
• Un CAPTCHA ou un test interactif
• Une validation en arrière-plan qui s’exécute automatiquement sans interaction de l’utilisateur

Si le défi est relevé avec succès, la demande est autorisée et le visiteur peut poursuivre sa visite sur le site. Si le défi échoue ou ne peut être relevé, la demande est bloquée. Les visiteurs humains légitimes passent généralement ces contrôles avec peu ou pas d’interruption visible, alors que la grande majorité des demandes automatisées sont incapables d’achever le processus de vérification.

Si un visiteur réussit la vérification, il ne sera pas soumis à une nouvelle vérification pendant au moins 10 jours s’il continue à utiliser le même navigateur et la même adresse IP.

Quand utiliser la protection contre les robots de Kinsta ?

Vous avez le contrôle total sur le moment et la manière d’utiliser la protection contre les robots de Kinsta, et vous pouvez activer un niveau de protection plus élevé à tout moment, y compris en continu, si cela répond aux besoins de votre site. Cela dit, comme la protection contre les robots peut affecter la façon dont les visiteurs et les intégrations interagissent avec votre site, il est préférable de l’utiliser intentionnellement et en étant conscient des compromis potentiels.

Nous vous recommandons d’activer un niveau plus élevé de protection contre les robots dans les situations suivantes :

• Lors d’un pic de trafic : si votre site connaît une augmentation soudaine du trafic, l’activation d’un niveau plus élevé de protection contre les robots de Kinsta peut rapidement réduire la charge malveillante sans bloquer tous les visiteurs. Pour identifier les pics de trafic, vous pouvez utiliser le graphique Visites dans Sites > nom du site > Analyses > Utilisation du plan.
• Problèmes de performance : si votre site rencontre des problèmes de performance, l’activation d’un niveau plus élevé de protection contre les robots de Kinsta peut aider à déterminer si le trafic automatisé contribue à l’augmentation de la charge sur votre site. Pour identifier les problèmes de performance, utilisez les graphiques de performance dans Sites > nom du site > Analyses > Performance.
• Évaluer le trafic suspect : si vous observez un comportement inhabituel mais que vous ne souhaitez pas encore le bloquer complètement, l’activation d’un niveau plus élevé de protection contre les robots de Kinsta vous permet d’observer si le trafic peut passer la vérification avant de prendre des mesures plus strictes.

Considérations pour une utilisation à long terme ou continue

Bien qu’un niveau plus élevé de protection contre les robots puisse être activé à long terme, cela peut entraîner des effets secondaires, notamment :

• Expérience de l’utilisateur : si vous mettez tout le monde au défi, même les défis légers ajoutent une brève étape de vérification pour les visiteurs. Pour la plupart des utilisateurs, cette étape se déroule en douceur et une seule fois au cours d’une période plus longue, ce qui permet aux demandes suivantes d’être traitées sans interruption. Bien qu’un petit pourcentage puisse remarquer un léger retard, en particulier sur les appareils mobiles ou les connexions plus lentes, cette approche peut réduire de manière significative le trafic de robots cachés tout en maintenant une expérience utilisateur équilibrée.
• Problèmes d’accessibilité : certains défis (en particulier les CAPTCHA) peuvent être difficiles, voire impossibles à relever pour les utilisateurs utilisant des technologies d’assistance.
• Automatisation légitime : les API et les services automatisés non vérifiés seront bloqués ou contestés, ce qui risque de perturber les intégrations. Vous devez examiner vos intégrations critiques et tous les outils tiers qui se connectent à votre site pour vous assurer qu’ils figurent sur la liste des robots vérifiés de Cloudflare. Si votre service ne figure pas sur la liste, il peut être enregistré pour vérification. Les exemples les plus courants sont les intégrations personnalisées, les moniteurs auto-hébergés ou l’automatisation du déploiement.
• Considérations relatives au référencement et aux performances : les robots des moteurs de recherche largement reconnus, notamment Google et Bing, font partie de l’annuaire des robots vérifiés et ne sont pas concernés. Toutefois, les robots de référencement moins connus ou les outils spécialisés qui ne sont pas vérifiés pourraient être confrontés à des difficultés.

En fin de compte, c’est à vous de décider quand utiliser la protection contre les robots et quel est le niveau de protection. Nous vous recommandons de tester soigneusement les modifications et d’ajuster les réglages en fonction de la fréquentation de votre site, de ses performances et de ses objectifs en matière d’expérience utilisateur.

Protection contre les robots Kinsta avec des couches de sécurité externes

Cloudflare peut être utilisé avec la protection contre les bots de Kinsta, à condition que vous n’activiez pas les fonctions WAF ou de protection contre les robots de Cloudflare. Lorsque les deux sont en place, Cloudflare évalue le trafic en premier. Toute requête bloquée à ce niveau n’atteindra jamais Kinsta, ce qui signifie que la protection contre les robots de Kinsta ne s’applique qu’au trafic qui passe par Cloudflare.

Nous ne recommandons pas de combiner la protection contre les robots de Kinsta avec d’autres règles personnalisées de protection contre les robots. L’utilisation de plusieurs couches de protection contre les robots peut conduire à des classifications conflictuelles, où le trafic légitime peut être incorrectement marqué comme étant des robots et bloqué. Dans certains cas, cela peut perturber le trafic normal ou même empêcher l’accès à votre site.

La protection contre les robots de Kinsta ne peut pas être utilisée avec des plateformes tierces telles que AWS, Microsoft Azure, Sucuri, Fortinet, un autre CDN ou une configuration de proxy inverse. En effet, la source originale du trafic ne peut pas être identifiée de manière fiable et, par conséquent, il est impossible de déterminer si la demande est automatisée ou humaine.

Protection contre les robots et règles WAF personnalisées de Kinsta

Si vous avez configuré des règles WAF personnalisées via le support Kinsta et que vous utilisez la protection contre les robots, les deux couches s’appliqueront au trafic entrant. Dans la plupart des cas, les règles gérées par Kinsta sont évaluées en premier. Si une requête correspond à l’une de ces règles (autoriser, bloquer ou défier), cette action est appliquée. Dans le cas contraire, vos règles personnalisées sont évaluées et peuvent encore autoriser ou bloquer la demande. Si une règle personnalisée est configurée pour s’exécuter avant les règles de Kinsta, elle peut les remplacer. Par exemple, une règle qui autorise tout le trafic et contourne le WAF empêcherait la protection contre les robots et les règles gérées de Kinsta d’être appliquées. Si vous avez besoin de plus d’informations sur les règles WAF personnalisées appliquées à votre site ou si vous souhaitez personnaliser vos règles et exceptions, veuillez contacter notre équipe de support.

Modifier le niveau de protection contre les robots

Pour modifier votre niveau de protection contre les robots, allez dans Sites > nom du site > Protection contre les robots, dans Niveau de protection, cliquez sur Modifier. Vous pouvez également modifier le niveau de protection pour plusieurs sites simultanément. Dans Sites, sélectionnez les sites, puis cliquez sur Actions > Modifier la protection contre les robots.

Vous pouvez alors choisir parmi les options suivantes :

• Bloquer le trafic malveillant : il s’agit de la protection par défaut fournie par Kinsta. Le trafic malveillant est automatiquement bloqué pour tous les sites dans le cadre de la protection de sécurité de base de Kinsta. Cela inclut l’atténuation DDoS et des règles globales pour les IP et les points de terminaison utilisés exclusivement par le trafic malveillant.
• Bloquer les automatismes : bloque à la fois le trafic automatisé et malveillant.
• Défier les robots : bloque le trafic automatisé et malveillant, et conteste les robots probables et le trafic non classifié.
• Défier tout le monde : il s’agit du niveau de protection le plus élevé. Il bloque le trafic automatisé et malveillant et conteste les humains, les robots et le trafic non classifié.

Les icônes de chaque section représentent les éléments suivants :

• Autoriser : ce trafic est autorisé et ne fait l’objet d’aucune contestation.
• Contester : ce trafic est contesté et n’est autorisé que s’il réussit la contestation.
• Bloquer : ce trafic est bloqué.

Une fois le niveau de protection sélectionné, cliquez sur Changer le niveau de protection.

Bloquer les robots d’indexation IA

Un crawler d’IA est un robot qui scanne et collecte le contenu des sites web pour le faire traiter par des systèmes d’IA. Ils sont similaires aux robots des moteurs de recherche traditionnels, mais au lieu de se contenter d’indexer les pages pour les résultats de recherche, ils recueillent des données pour former, analyser ou alimenter les modèles d’IA.

Certains robots d’indexation s’identifient clairement et précisent leur objectif lorsqu’ils accèdent à votre site, comme les robots vérifiés par Cloudflare et GPTBot. D’autres peuvent générer un trafic important en effectuant des requêtes fréquentes, y compris vers des ressources non mises en cache, ce qui peut avoir un impact sur les performances du site.

La protection contre les robots de Kinsta vous permet de bloquer entièrement les robots d’indexation de l’IA, y compris les robots vérifiés. Cela ne bloque que les robots d’IA ; cela n’inclut pas les robots des moteurs de recherche tels que GoogleBot et Bing.

Cette fonction peut s’avérer utile pour résoudre les problèmes liés aux volumes de trafic élevés ou aux performances, car elle vous aide à déterminer si les robots sont responsables. Toutefois, le blocage des robots d’indexation peut avoir une incidence sur l’affichage de votre site dans les résultats de recherche. Certains robots sont utilisés par les moteurs de recherche pour indexer votre contenu, tandis que d’autres sont utilisés par des outils d’intelligence artificielle qui peuvent faire apparaître votre contenu dans des expériences de recherche, des résumés ou des recommandations.

Le blocage de ces robots peut réduire le trafic indésirable et la charge du serveur, mais il peut aussi limiter la visibilité de votre site dans les moteurs de recherche et les résultats alimentés par l’IA. C’est pourquoi tout changement doit être effectué avec précaution et suivi afin de comprendre son impact sur votre trafic et vos performances en matière de référencement.

Pour bloquer les robots d’indexation, dans Sites > nom du site > Protection contre les robots, cliquez sur le curseur Bloquer les robots d’indexation. Vous pouvez également bloquer les robots d’indexation pour plusieurs sites simultanément. Dans Sites, sélectionnez les sites, puis cliquez sur Actions > Modifier le blocage des robots d’indexation.