Travaillant avec WordPress 24/7, l’équipe de Kinsta voit toutes sortes d’erreurs et d’avertissements que les clients rencontrent. Croyez-nous, nous avons à peu près tout vu. Chaque fois qu’une erreur apparaît dans notre système, nous nous assurons de la documenter pour que nous puissions partager la solution avec vous. À quoi sert un hébergeur de qualité supérieure qui ne vous aide pas à résoudre vos propres problèmes ? Aujourd’hui, nous allons plonger dans une erreur de la console de recherche Google que vous avez peut-être rencontré ou non : « La page peut ne pas être affichée correctement à cause de ressources bloquées par robots.txt. »
Ne vous inquiétez pas, nous vous expliquerons ce que cela signifie et comment le réparer sur votre site WordPress.
Ressources bloquées
Si vous recevez un avertissement ou une erreur à propos de ressources bloquées, cela signifie généralement que quelque chose n’est pas configuré correctement sur votre site WordPress. Ce n’est pas toujours le cas, mais si vous voyez un message concernant quelque chose dans Google Search Console, vous devriez toujours l’examiner. Google fournit ces messages pour une raison. Notre récente expérience avec une pénalité injustifiée sur Google le prouve clairement.
Si vous n’avez pas reçu de message concernant les ressources bloquées, vous pouvez toujours vérifier votre site en vous connectant à Google Search Console. Cliquez ensuite sur Google Index → Ressources bloquées. Comme ils l’affirment :
Googlebot a besoin d’accéder à de nombreuses ressources sur votre page afin d’afficher et indexer la page de façon optimale. Par exemple, JavaScript, CSS et les fichiers d’images devraient être disponibles pour Googlebot afin qu’il puisse voir les pages comme un utilisateur moyen.
Ces ressources de cet hébergeur sont utilisées par votre site, mais bloquées sur Googlebot. Si Googlebot ne peut pas accéder aux ressources importantes de votre page, il se peut que la page soit mal indexée. (Source : Rapport sur les ressources bloquées)
Encore une fois, ce n’est pas parce qu’une ressource est bloquée qu’elle nuit toujours au référencement de votre site. Mais sa meilleure pratique pour les nettoyer alors quand ceux qui ont un impact sur votre SEO viennent vous pouvez plus facilement les corriger sans avoir à filtrer au travers des pages d’erreurs.
Nous adorons partager des données en direct avec vous. Ainsi, dans l’exemple d’aujourd’hui, nous avons un problème avec de multiples (plus de 400) erreurs de ressources bloquées qui se produisent (comme on le voit ci-dessous) sur notre propre site.
Lorsque vous voyez des erreurs dans la section des ressources bloquées, vous pouvez cliquer dessus pour plus de détails. On clique donc sur https://kinsta.com/wp-admin/admin-ajax.php. Le fichier admin-ajax.php n’est qu’un exemple de ce qui peut apparaître ici. Vous pouvez également voir des erreurs concernant le blocage des fichiers JavaScript ou CSS. Mais les corriger implique généralement les mêmes étapes.
Sur la page nous voyons l’erreur suivante : « La page peut ne pas être affichée correctement car certaines ressources sont bloquées par https://kinsta.com/robots.txt. »
Leur conseil est de mettre à jour la règle robots.txt pour débloquer la ressource. Si vous n’avez jamais entendu parler de ce fichier, nous vous suggérons de lire d’abord le fichier robots.txt dans WordPress.
Vous pouvez utiliser l’outil Google Fetch pour afficher la page telle que Google la voit. Cela peut vous aider à déterminer si la ressource bloquée a un impact sur l’apparence de votre page. Encore une fois, nous recommandons simplement de nettoyer toutes les erreurs signalées ici si possible.
On peut voir que la ressource dont il se plaint est https://kinsta.com/wp-admin/admin-ajax.php?action=essb_counts&... Dans notre cas, AJAX est utilisé par notre extension de réseaux sociaux WordPress. Si nous l’entrons dans Robots Testing Tool, nous pouvons voir que Google ne le trouve pas. C’est parce que le répertoire /wp-admin/ est en fait bloqué, comme nous le verrons plus loin.
Yoast SEO a référencé ce problème de « ressources bloquées » dans un article de blog contenant leur fichier exemple robots.txt. Fondamentalement, AJAX (admin-ajax.php) est utilisé par certains thèmes et extensions WordPress pour ajouter du contenu à une page ou exécuter une certaine fonction. WordPress avait l’habitude de le bloquer par défaut mais cela a été corrigé dans WordPress 4.4 (#33156). Google peut maintenant explorer admin-ajax.php dans wp-admin.
Mais combien d’entre vous utilisiez déjà votre site WordPress avant la sortie de la version 4.4 ? Probablement 99% d’entre vous. Et comme nous, vous avez probablement un fichier robots.txt personnalisé qui a été modifié par vous ou un développeur en cours de route qui écrase le nouveau fichier par défaut. Cela signifie que les avertissements s’afficheront toujours dans Google Search Console si vous ne les corrigez pas. La réponse est de simplement mettre à jour votre fichier robots.txt.
Mise à jour de votre fichier Robots.txt
WordPress crée par défaut un fichier robots.txt virtuel. Cependant, nous vous recommandons toujours d’en créer un physique. Vous n’êtes pas sûr si vous en avez déjà un ? Essayez de naviguer jusqu’à la racine de votre site WordPress : https://domaine.com/robots.txt. S’il en existe un, vous le verrez. Sinon, vous obtiendrez une erreur 404.
Nous sommes de grands fans de Yoast SEO ici chez Kinsta, nous l’utilisons sur notre site, et c’est l’extension SEO #1 que nous recommandons pour votre site WordPress. Beaucoup ne savent pas que vous pouvez facilement créer et modifier votre fichier robots.txt directement depuis votre tableau de bord WordPress en l’utilisant.
Cliquez sur SEO → Outils. Cliquez ensuite sur « Éditeur de fichiers ». Ceci n’apparaîtra pas si vous avez désactivé la modification des fichiers. Si vous voulez garder cette option désactivée, vous pouvez créer/modifier votre fichier robots.txt via SFTP.
Si vous n’avez pas de fichier physique, vous pouvez cliquer sur « Créer un fichier robots.txt ». Ceci crée un fichier physique sur votre serveur.
Si vous avez déjà un fichier robots.txt, il peut ressembler à ceci (Ou il peut être très long ! Nous avons vu quelques fichiers robots.txt fous) :
User-agent: * Disallow: /wp-admin/
Il y a une autre ligne que nous devons ajouter pour corriger l’erreur de ressources bloquées. Ainsi, dans notre exemple, nous ajoutons la ligne suivante (c’est maintenant la configuration par défaut de robots.txt configuration lorsque vous créez un fichier en utilisant Yoast et WordPress sur une nouvelle installation) :
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Cela permet maintenant à Google de l’explorer.
En ce qui concerne le fichier admin-ajax.php lui-même, vous n’avez pas à vous inquiéter de son apparition accidentelle dans Google ou de son indexation car si vous regardez le fichier, il contient l’en-tête noindex suivant.
@header( 'X-Robots-Tag: noindex' );
Cette balise indique à Google de ne pas l’indexer.
Si vous voyez d’autres types d’erreurs bloquées, comme du JavaScript ou du CSS, un moyen rapide de les corriger est de revenir à la configuration standard robots.txt ci-dessus. Les répertoires wp-content/plugins/ et /wp-includes/ sont des répertoires communs que nous avons vu des utilisateurs bloquer par erreur, ce qui à son tour cause parfois ce type de problèmes.
Vous pouvez voir ci-dessous après avoir autorisé le fichier ci-dessus dans notre fichier robots.txt nos ressources bloquées erreurs résolues en quelques jours dans Google Search Console.
Résumé
La correction des erreurs et des avertissements dans Google Search Console est une partie importante de la maintenance correcte de votre site WordPress. Cela permet de s’assurer que Google voit votre site correctement et l’indexe. Espérons que la prochaine fois que vous rencontrerez des erreurs de ressources bloquées, vous saurez comment mieux les dépanner !
Avez-vous des idées sur les ressources bloquées ? Avez-vous vu cela sur vos propres sites ?
Brian a une grande passion pour WordPress, l'utilise depuis plus de dix ans et développe même quelques plugins de qualité. Brian aime les blogs, les films et les randonnées. Connectez avec Brian sur Twitter.
Laisser un commentaire