Que signifie \u00ab Demander aux moteurs de recherche de ne pas indexer ce site \u00bb ?<\/h2>\n
Vous \u00eates-vous d\u00e9j\u00e0 demand\u00e9 comment les moteurs de recherche indexent votre site et \u00e9valuent votre r\u00e9f\u00e9rencement<\/a> ? Ils le font \u00e0 l’aide d’un programme automatis\u00e9 appel\u00e9 \u00ab spider \u00bb, \u00e9galement connu sous le nom de \u00ab robot \u00bb ou \u00ab crawler \u00bb. Les robots \u00ab crawlent \u00bb sur le web, visitent les sites et enregistrent tout leur contenu.<\/p>\n Google les utilise pour d\u00e9cider du classement et de l’emplacement de votre site web dans les r\u00e9sultats de recherche, pour r\u00e9cup\u00e9rer des extraits de vos articles pour la page de r\u00e9sultats de recherche et pour int\u00e9grer vos images dans Google Images.<\/p>\n Lorsque vous cochez la case \u00ab\u00a0Demander aux moteurs de recherche de ne pas indexer ce site\u00a0\u00bb, WordPress modifie votre fichier robots.txt<\/a> (un fichier qui donne des instructions aux robots sur la fa\u00e7on d’explorer votre site). Il peut \u00e9galement ajouter une balise m\u00e9ta \u00e0 l’en-t\u00eate de votre site qui indique \u00e0 Google et aux autres moteurs de recherche de n’indexer aucun contenu sur l’ensemble de votre site.<\/p>\n Le mot cl\u00e9 ici est \u00ab\u00a0d\u00e9courager\u00a0\u00bb : Les moteurs de recherche n’ont aucune obligation d’honorer cette demande, en particulier les moteurs de recherche qui n’utilisent pas la syntaxe standard robots.txt<\/strong> que Google utilise.<\/p>\n Les robots d’exploration pourront toujours trouver votre site, mais les robots correctement configur\u00e9s liront votre fichier robots.txt<\/strong> et partiront sans indexer le contenu ni l’afficher dans leurs r\u00e9sultats de recherche.<\/p>\n Dans le pass\u00e9, cette option de WordPress n’emp\u00eachait pas Google d’afficher votre site web dans les r\u00e9sultats de recherche, mais seulement d’indexer son contenu. Vous pouviez encore voir vos pages appara\u00eetre dans les r\u00e9sultats de recherche avec une erreur du type \u00ab\u00a0Aucune information n’est disponible pour cette page\u00a0\u00bb ou \u00ab\u00a0Une description pour ce r\u00e9sultat n’est pas disponible en raison du fichier robots.txt du site.\u00a0\u00bb<\/p>\n Bien que Google n’ait pas index\u00e9 la page, il ne l’a pas non plus enti\u00e8rement masqu\u00e9e. Cette anomalie a permis \u00e0 des personnes de visiter des pages qu’elles n’\u00e9taient pas cens\u00e9es voir. Gr\u00e2ce \u00e0 WordPress 5.3<\/a>, le syst\u00e8me fonctionne d\u00e9sormais correctement, bloquant \u00e0 la fois l’indexation et le r\u00e9f\u00e9rencement du site.<\/p>\n Vous pouvez imaginer comment cela d\u00e9truirait votre SEO si vous l’activiez par accident. Il est essentiel de n’utiliser cette option que si vous voulez vraiment que personne ne voie votre contenu – et m\u00eame dans ce cas, ce n’est peut-\u00eatre pas la seule mesure que vous souhaitez prendre.<\/p>\n Les sites web sont faits pour \u00eatre vus par des gens. Vous voulez que les utilisateurs lisent vos articles, ach\u00e8tent vos produits, consomment votre contenu – pourquoi essayeriez-vous intentionnellement de bloquer les moteurs de recherche ?<\/p>\n Il existe plusieurs raisons pour lesquelles vous pouvez vouloir masquer une partie ou la totalit\u00e9 de votre site.<\/p>\n Il existe de meilleures solutions pour certaines d’entre elles – utiliser un serveur de d\u00e9veloppement hors ligne<\/a> appropri\u00e9, d\u00e9finir vos articles comme priv\u00e9s<\/a> ou les placer derri\u00e8re un mot de passe – mais il existe des raisons l\u00e9gitimes pour lesquelles vous pouvez vouloir d\u00e9sindexer une partie ou la totalit\u00e9 de votre site.<\/p>\n Bien que vous puissiez avoir des raisons l\u00e9gitimes de d\u00e9sindexer votre site, ce peut \u00eatre un choc horrible d’apprendre que vous avez activ\u00e9 ce r\u00e9glage sans le vouloir ou que vous l’avez laiss\u00e9 activ\u00e9 par accident. Si vous ne recevez aucun trafic<\/a> et que vous pensez que votre site n’est pas index\u00e9, voici comment le confirmer.<\/p>\n Un moyen simple consiste \u00e0 cocher la case D\u2019un coup d’\u0153il<\/strong> situ\u00e9e sur l’\u00e9cran d’accueil de votre tableau de bord d’administration. Il suffit de se connecter \u00e0 votre administration et de cocher la case. Si vous voyez \u00ab\u00a0Moteurs de recherche refus\u00e9s\u00a0\u00bb, vous savez que vous avez activ\u00e9 ce r\u00e9glage.<\/p>\n Un moyen encore plus fiable consiste \u00e0 v\u00e9rifier votre fichier robots.txt<\/strong>. Vous pouvez facilement le v\u00e9rifier dans le navigateur sans m\u00eame vous connecter \u00e0 votre site.<\/p>\n Pour v\u00e9rifier le fichier robots.txt<\/strong>, il suffit d’ajouter Si vous voyez Si vous voyez Maintenant que WordPress utilise les balises m\u00e9ta plut\u00f4t que le fichier robots.txt<\/strong> pour d\u00e9sindexer votre site, vous devez \u00e9galement v\u00e9rifier si votre en-t\u00eate<\/a> a \u00e9t\u00e9 modifi\u00e9.<\/p>\n Connectez-vous \u00e0 votre administration et allez dans Apparence<\/strong> > \u00c9diteur de th\u00e8me<\/strong>. Trouvez l’en-t\u00eate du th\u00e8me<\/strong> (header.php<\/strong>) et recherchez le code suivant :<\/p>\n Vous pouvez \u00e9galement rechercher la balise Si vous trouvez ce code dans les fichiers de votre th\u00e8me, c’est que votre site n’est pas index\u00e9 par Google. Mais plut\u00f4t que de le supprimer manuellement, essayons d’abord de d\u00e9sactiver le r\u00e9glage d’origine.<\/p>\n Si vous voulez sauter les \u00e9tapes suppl\u00e9mentaires et aller directement au r\u00e9glage original, voici comment activer ou d\u00e9sactiver l’option \u00ab\u00a0Demander aux moteurs de recherche de ne pas indexer ce site\u00a0\u00bb dans WordPress.<\/p>\n Connectez-vous \u00e0 votre tableau de bord WordPress<\/a> et acc\u00e9dez \u00e0 R\u00e9glages<\/strong> > Lecture<\/strong>. Recherchez l’option Visibilit\u00e9 par les moteurs de recherche<\/strong> avec une case \u00e0 cocher intitul\u00e9e \u00ab\u00a0Demander aux moteurs de recherche de ne pas indexer ce site\u00a0\u00bb.<\/p>\n Si vous constatez que cette option est d\u00e9j\u00e0 activ\u00e9e et que vous souhaitez que votre site soit index\u00e9, d\u00e9cochez-la. Si vous voulez emp\u00eacher l’indexation de votre site, cochez-la (et notez quelque part de la d\u00e9sactiver plus tard !)<\/p>\n Cliquez ensuite sur Enregistrer les modifications<\/strong>, et c’est parti. Il peut s’\u00e9couler un certain temps avant que votre site soit r\u00e9-index\u00e9 ou qu’il soit retir\u00e9 des r\u00e9sultats de recherche.<\/p>\n Si votre site est toujours d\u00e9sindex\u00e9, vous pouvez \u00e9galement supprimer le code C’est assez simple, mais quelles sont les raisons pour lesquelles vous devriez \u00e9viter cette option, ou du moins ne pas vous y fier enti\u00e8rement ?<\/p>\n Cela semble simple – cochez une case et personne ne pourra voir votre site. N’est-ce pas suffisant ? Pourquoi devriez-vous \u00e9viter d’utiliser cette option seule ?<\/p>\n Lorsque vous activez ce r\u00e9glage ou toute autre option similaire, tout ce que cela fait est d’ajouter une balise \u00e0 votre en-t\u00eate ou \u00e0 votre fichier robots.txt<\/strong>. Comme le montre le fait que les anciennes versions de WordPress permettent encore \u00e0 votre site d’appara\u00eetre dans les r\u00e9sultats de recherche, un petit probl\u00e8me ou une autre erreur<\/a> peut faire en sorte que des personnes voient vos pages cens\u00e9es \u00eatre cach\u00e9es.<\/p>\n En outre, il appartient enti\u00e8rement aux moteurs de recherche d’honorer la demande de ne pas explorer votre site. Les principaux moteurs de recherche comme Google et Bing le font g\u00e9n\u00e9ralement, mais tous les moteurs de recherche n’utilisent pas la m\u00eame syntaxe robots.txt<\/strong> et tous les robots qui explorent le web ne sont pas envoy\u00e9s par les moteurs de recherche<\/a>.<\/p>\n Par exemple, un service qui utilise des robots d’indexation est la Wayback Machine<\/a>. Et si votre contenu est index\u00e9 par un tel service, il est sur le web pour toujours.<\/p>\n Vous pensez peut-\u00eatre que le fait que votre tout nouveau site ne comporte aucun lien le met \u00e0 l’abri des robots, mais ce n’est pas vrai. L’existence d’un serveur partag\u00e9, l’envoi d’un e-mail contenant un lien vers votre site web, ou m\u00eame la visite de votre site dans un navigateur (en particulier Chrome) peuvent exposer votre site \u00e0 l’exploration.<\/p>\n Si vous souhaitez masquer du contenu, il n’est pas judicieux d’ajouter un param\u00e8tre et d’esp\u00e9rer qu’il fera l’affaire.<\/p>\n Et soyons clairs, si le contenu que vous d\u00e9sindexez est de nature sensible ou personnelle<\/a>, vous ne devez absolument pas compter sur robots.txt<\/strong> ou une balise m\u00e9ta pour le cacher.<\/p>\n Enfin, cette option permet de masquer enti\u00e8rement votre site aux moteurs de recherche, alors que bien souvent, vous ne souhaitez d\u00e9sindexer que certaines pages.<\/p>\n Que devriez-vous donc faire \u00e0 la place ou en parall\u00e8le de cette m\u00e9thode ?<\/p>\n Bien que l’option fournie par WordPress fasse g\u00e9n\u00e9ralement l’affaire, dans certaines situations, il est souvent pr\u00e9f\u00e9rable d’employer d’autres m\u00e9thodes pour masquer le contenu. Google lui-m\u00eame recommande de ne pas utiliser le fichier robots.txt pour cacher des pages<\/a>.<\/p>\n Tant que votre site a un nom de domaine<\/a> et se trouve sur un serveur public, il n’y a aucun moyen de garantir que votre contenu ne sera pas vu ou index\u00e9 par les robots d’exploration, \u00e0 moins de le supprimer ou de le cacher derri\u00e8re un mot de passe ou une exigence de connexion.<\/p>\n Cela dit, quels sont les meilleurs moyens de masquer votre site ou certaines de ses pages ?<\/p>\n Bien que sa mise en \u0153uvre soit fonctionnellement la m\u00eame que celle de l’option \u00ab\u00a0D\u00e9courager les moteurs de recherche\u00a0\u00bb, vous pouvez utiliser manuellement le fichier .htaccess<\/strong> pour bloquer l’indexation de votre site.<\/p>\n Vous devez utiliser un programme FTP\/SFTP<\/a> pour acc\u00e9der \u00e0 votre site et ouvrir le fichier .htaccess<\/a>, g\u00e9n\u00e9ralement situ\u00e9 dans le r\u00e9pertoire racine (le premier r\u00e9pertoire que vous voyez lorsque vous ouvrez votre site) ou dans public_html<\/strong>. Ajoutez ce code au fichier et enregistrez :<\/p>\n Note : Cette m\u00e9thode ne fonctionne que pour les serveurs Apache. Les serveurs NGINX, tels que ceux fonctionnant sur Kinsta, devront ajouter ce code au fichier .conf<\/strong>, qui se trouve dans \/etc\/nginx\/<\/strong> (vous trouverez ci-dessous un exemple de mise en \u0153uvre des balises m\u00e9ta<\/a>) :<\/p>\n Si vous ne souhaitez pas que les moteurs de recherche indexent certains articles ou certaines pages, la meilleure fa\u00e7on de les cacher est de prot\u00e9ger votre site par un mot de passe<\/a>. De cette fa\u00e7on, seuls vous et les utilisateurs que vous souhaitez pourront voir ce contenu.<\/p>\n Heureusement, cette fonctionnalit\u00e9 est int\u00e9gr\u00e9e \u00e0 WordPress, il n’est donc pas n\u00e9cessaire d’installer d\u2019extension. Il suffit d’aller dans la section Pages ou Articles<\/strong> et de cliquer sur ce que vous voulez masquer. Modifiez votre page et recherchez le menu \u00c9tat et visibilit\u00e9<\/strong> > Visibilit\u00e9<\/strong> sur le c\u00f4t\u00e9 droit.<\/p>\n Si vous n’utilisez pas Gutenberg, le processus est similaire. Vous trouverez le m\u00eame menu dans la bo\u00eete de publication<\/strong>.<\/p>\n Changez la Visibilit\u00e9<\/strong> en Prot\u00e9g\u00e9 par mot de passe<\/strong> et saisissez un mot de passe, puis enregistrez – et votre contenu est maintenant cach\u00e9 du grand public.<\/p>\n Que faire si vous souhaitez prot\u00e9ger l’ensemble de votre site par un mot de passe ? Il n’est pas pratique d’exiger un mot de passe pour chaque page.<\/p>\n Les utilisateurs de Kinsta ont de la chance : vous pouvez activer la protection par mot de passe dans Sites<\/strong> > Outils<\/strong>, ce qui n\u00e9cessite un identifiant et un mot de passe.<\/p>\n Sinon, vous pouvez utiliser une extension de restriction de contenu<\/a> (par exemple, Password Protected<\/a>). Veuillez l’installer et l’activer, puis allez dans R\u00e9glages<\/strong> > Protection par mot de passe<\/strong> et activez le Statut de protection par mot de passe<\/strong>. Cela vous donne un contr\u00f4le plus fin, vous permettant m\u00eame de mettre certaines adresses IP sur une liste autoris\u00e9e.<\/p>\nPourquoi ne pas indexer votre site ?<\/h3>\n
\n
Comment v\u00e9rifier si votre site refuse les moteurs de recherche ?<\/h2>\n
![\"\u00ab](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/at-a-glance-search-engines-discouraged.png\")
\/robots.txt<\/code> \u00e0 la fin de l’URL de votre site. Par exemple : https:\/\/kinsta.com\/robots.txt<\/code><\/p>\nDisallow : \/<\/code>, l’indexation de l’ensemble de votre site est bloqu\u00e9e.<\/span><\/p>\n![\"\u00ab](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/kinsta-robots-txt.png\")
Disallow:<\/code> suivi d’un chemin URL, comme Disallow: \/wp-admin\/<\/code>, cela signifie que toute URL<\/a> contenant le chemin \/wp-admin\/<\/code> est bloqu\u00e9e. Cette structure est normale pour certaines pages, mais si, par exemple, elle bloque \/blog\/<\/code> qui contient des pages que vous souhaitez indexer, cela peut poser des probl\u00e8mes !<\/p>\n<meta name='robots' content='noindex,nofollow' \/><\/code><\/pre>\n![\"noindex,](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/header-php-meta-tag.jpg\")
noindex<\/code> dans functions.php<\/strong>, car il est possible d’ins\u00e9rer du code \u00e0 distance dans l’en-t\u00eate par le biais de ce fichier.<\/p>\nComment d\u00e9courager l’indexation par les moteurs de recherche dans WordPress<\/h2>\n
![\"Case](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/discourage-search-engines.png\")
noindex<\/code> de votre fichier d’en-t\u00eate, ou modifier manuellement le fichier robots.txt<\/strong> pour supprimer \u00ab\u00a0Disallow\u00a0\u00bb.<\/p>\nInconv\u00e9nients de l’utilisation de l’option D\u00e9courager les moteurs de recherche<\/h3>\n
![\"Wayback](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/wayback-machine.png\")
Autres moyens d’\u00e9viter l’indexation par les moteurs de recherche<\/h2>\n
Bloquer les moteurs de recherche avec .htaccess<\/h3>\n
Header set X-Robots-Tag \"noindex, nofollow\"<\/code><\/pre>\nadd_header X-Robots-Tag \"noindex, nofollow\";<\/code><\/pre>\nProtection par mot de passe des pages sensibles<\/h3>\n
![\"D\u00e9finir](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/password-protect-post.jpg\")