J\u00e1 ouviu falar no termo robots.txt e se perguntou como ele se aplica ao seu site? A maioria dos sites possui um arquivo robots.txt, mas isso n\u00e3o significa que a maioria dos propriet\u00e1rios de sites o compreenda. Neste artigo, esperamos mudar isso oferecendo uma an\u00e1lise detalhada do arquivo robots.txt do WordPress e como ele pode controlar e limitar o acesso ao seu site.<\/p>\n
H\u00e1 muito para abordar, ent\u00e3o vamos come\u00e7ar!<\/p>\n
Antes de falarmos sobre o arquivo robots.txt do WordPress, \u00e9 importante definir o que \u00e9 um “rob\u00f4” nesse contexto. Rob\u00f4s s\u00e3o qualquer tipo de “bot” que visita sites na Internet. O exemplo mais comum s\u00e3o os rastreadores de mecanismos de pesquisa. Esses bots “rastreiam” a web para ajudar\u00a0mecanismos de pesquisa<\/a> como o Google a indexar e classificar bilh\u00f5es de p\u00e1ginas na Internet.<\/p>\n Portanto, bots s\u00e3o, em geral<\/em>, algo necess\u00e1rio para a Internet. Mas isso n\u00e3o significa necessariamente que voc\u00ea, ou outros propriet\u00e1rios de sites, querem bots correndo sem restri\u00e7\u00f5es. O desejo de controlar como os rob\u00f4s da internet interagem com os sites levou \u00e0 cria\u00e7\u00e3o do padr\u00e3o de exclus\u00e3o de rob\u00f4s<\/strong> em meados da d\u00e9cada de 90. Robots.txt \u00e9 a implanta\u00e7\u00e3o pr\u00e1tica desse padr\u00e3o – ele permite que voc\u00ea controle como os bots participantes interagem com o seu site<\/strong>. Voc\u00ea pode bloquear totalmente os bots, restringir o acesso deles a certas \u00e1reas do seu site, e muito mais.<\/p>\n Essa parte de “participar” \u00e9 importante, no entanto. Robots.txt n\u00e3o pode for\u00e7ar<\/em> um bot a seguir suas diretrizes. E os bots maliciosos podem e v\u00e3o ignorar o arquivo robots.txt. Al\u00e9m disso, mesmo organiza\u00e7\u00f5es respeit\u00e1veis ignoram alguns<\/em> comandos que voc\u00ea pode colocar no arquivo robots.txt. Por exemplo, o Google ignorar\u00e1 quaisquer regras<\/a> que voc\u00ea adicionar ao seu robots.txt sobre a frequ\u00eancia com que seus rastreadores visitam. Voc\u00ea pode ajustar a taxa a qual o Google rastreia seu site na p\u00e1gina Crawl Rate Settings<\/a> para sua propriedade no Google Search Console.<\/p>\n Se voc\u00ea est\u00e1 tendo muitos problemas com bots, uma solu\u00e7\u00e3o de seguran\u00e7a como Cloudflare<\/a> ou Sucuri<\/a> pode ajudar.<\/p>\n O arquivo robots.txt vive na raiz do seu site, ent\u00e3o adicionar \/robots.txt ap\u00f3s o seu dom\u00ednio deve carregar o arquivo (se voc\u00ea tiver um). Por exemplo, https:\/\/kinsta.com\/robots.txt<\/strong>.<\/p>\n Para a maioria dos propriet\u00e1rios de sites, os benef\u00edcios de um arquivo robots.txt bem estruturado se resumem a duas categorias:<\/p>\n Robots.txt n\u00e3o \u00e9 uma maneira infal\u00edvel de controlar que p\u00e1ginas os mecanismos de pesquisa indexam. Se seu objetivo principal \u00e9 impedir que certas p\u00e1ginas sejam inclu\u00eddas nos resultados dos mecanismos de pesquisa, a abordagem adequada \u00e9 usar uma meta noindex tag<\/a> ou prote\u00e7\u00e3o por senha.<\/p>\n Isso porque o seu robots.txt n\u00e3o est\u00e1 dizendo diretamente aos mecanismos de pesquisa para n\u00e3o indexar conte\u00fado – est\u00e1 apenas dizendo a eles para n\u00e3o rastrear. Enquanto o Google n\u00e3o vai rastrear as \u00e1reas marcadas de no seu site, o pr\u00f3prio Google afirma<\/a> que se um site externo se conecta a uma p\u00e1gina que voc\u00ea exclui com o seu arquivo robots.txt, o Google ainda pode indexar essa p\u00e1gina.<\/p>\n John Mueller, um analista de webmaster do Google, tamb\u00e9m confirmou que se uma p\u00e1gina possui links apontando para ela, mesmo que esteja bloqueada pelo robots.txt,\u00a0ainda pode ser indexada<\/a>. Abaixo est\u00e1 o que ele disse em uma sess\u00e3o de perguntas e respostas do Webmaster Central:<\/p>\n Uma coisa a se ter em mente \u00e9 que, se essas p\u00e1ginas estiverem bloqueadas pelo arquivo robots.txt, teoricamente pode acontecer de algu\u00e9m aleatoriamente criar um link para uma dessas p\u00e1ginas. E se isso acontecer, \u00e9 poss\u00edvel que indexemos essa URL<\/strong> sem nenhum conte\u00fado, pois ela est\u00e1 bloqueada pelo robots.txt. Nesse caso, n\u00e3o saber\u00edamos que voc\u00ea n\u00e3o deseja que essas p\u00e1ginas sejam realmente indexadas.<\/p>\n Por outro lado, se essas p\u00e1ginas n\u00e3o estiverem bloqueadas pelo arquivo robots.txt, voc\u00ea pode adicionar uma meta tag noindex nessas p\u00e1ginas. Se algu\u00e9m criar um link para essas p\u00e1ginas e n\u00f3s rastrearmos esse link, veremos a meta tag noindex e entenderemos que essas p\u00e1ginas n\u00e3o precisam ser indexadas. Assim, podemos ignor\u00e1-las completamente durante o processo de indexa\u00e7\u00e3o.<\/p>\n Portanto, nesse sentido, se houver algo nessas p\u00e1ginas que voc\u00ea n\u00e3o deseja que seja indexado, n\u00e3o as bloqueie completamente. Em vez disso, use a meta tag noindex<\/strong>.<\/p><\/blockquote>\n \u00c9 importante lembrar que voc\u00ea n\u00e3o \u00e9 obrigado a ter um arquivo robots.txt em seu site. Se voc\u00ea n\u00e3o se importa que todos os bots tenham livre acesso para rastrear todas as suas p\u00e1ginas, voc\u00ea pode optar por n\u00e3o adicionar um, j\u00e1 que n\u00e3o h\u00e1 instru\u00e7\u00f5es espec\u00edficas a serem dadas aos rastreadores.<\/p>\n Em alguns casos voc\u00ea pode at\u00e9 n\u00e3o conseguir adicionar um arquivo robots.txt devido a limita\u00e7\u00f5es com o CMS que voc\u00ea est\u00e1 usando. Isso \u00e9 bom, e existem outros m\u00e9todos para instruir os bots sobre como rastrear suas p\u00e1ginas sem usar um arquivo robots.txt.<\/p>\n O arquivo robots.txt deve retornar um c\u00f3digo de status HTTP de 200 OK Para que os rastreadores possam acess\u00e1-lo.<\/p>\n Se voc\u00ea est\u00e1 tendo problemas para indexar suas p\u00e1ginas pelos mecanismos de pesquisa, vale a pena verificar duas vezes o c\u00f3digo de status retornado para o seu arquivo robots.txt. Qualquer coisa que n\u00e3o seja um c\u00f3digo de status 200 pode impedir que rastreadores acessem o seu site.<\/p>\n Alguns propriet\u00e1rios de sites relataram que suas p\u00e1ginas foram desindexadas devido ao retorno de um status n\u00e3o-200 pelo arquivo robots.txt. Um propriet\u00e1rio de um site perguntou sobre um problema de indexa\u00e7\u00e3o em uma sess\u00e3o de perguntas e respostas sobre SEO do Google em mar\u00e7o de 2022, e John Mueller explicou<\/a>\u00a0que o arquivo robots.txt deve retornar um status 200 se estiver presente ou um status 4XX se o arquivo n\u00e3o existir. Nesse caso espec\u00edfico, estava sendo retornado um\u00a0erro interno de 500 servidores<\/a>, o que Mueller mencionou como poss\u00edvel motivo para o Googlebot excluir o site da indexa\u00e7\u00e3o.<\/p>\n O mesmo pode ser visto neste Tweet, onde um dono de site relatou que seu site inteiro foi desindexado devido a um arquivo robots.txt devolvendo um erro de 500.<\/p>\n [Quick SEO tip]<\/p>\n If you are having issue with indexing, make sure your robots.txt file is returning either 200 or 404. <\/p>\n If your file returns 500, Google will eventually deindex your website, as I've seen with this project. pic.twitter.com\/8KiYLgDVRo<\/a><\/p>\n — Antoine Eripret (@antoineripret) November 14, 2022<\/a><\/p><\/blockquote>\nComo encontrar o robots.txt?<\/h3>\n
Quando voc\u00ea deve usar um arquivo robots.txt?<\/h3>\n
\n
Robots.txt n\u00e3o se trata especificamente de controlar quais p\u00e1ginas s\u00e3o indexadas nos mecanismos de pesquisa<\/h3>\n
Preciso de um arquivo robots.txt?<\/h3>\n
Qual c\u00f3digo de status HTTP deve ser retornado para o arquivo robots.txt?<\/h3>\n
\n