Pode ser desencorajador ver o declínio do seu site no ranking de pesquisa. Quando suas páginas não são mais rastreadas pelo Google, esses rankings mais baixos podem contribuir para menos visitantes e conversões.

“Indexada, mas bloqueada pelo robots.txt”

O erro “Indexada, mas bloqueada pelo robots.txt” pode significar um problema com os mecanismos de pesquisa rastreando em seu site. Quando isso acontece, o Google indexou uma página que não pode rastrear. Felizmente, você pode editar seu arquivo robots.txt para especificar quais páginas devem ou não ser indexadas.

Neste artigo, vamos explicar o erro “Indexada, mas bloqueada pelo robots.txt” e como testar o seu site para este problema. Então, mostraremos a você dois métodos diferentes de resolver. Vamos começar!


O que é o erro “Indexada, mas bloqueada pelo robots.txt”?

Como proprietário de um site, o Google Search Console pode ajudá-lo a analisar o desempenho do seu site em muitas áreas vitais. Esta ferramenta pode monitorar a velocidade da página, segurança e “crawlability” para que você possa otimizar sua presença online:

Google Search Console home page
Google Search Console

Por exemplo, o relatório de Cobertura do Índice do Console de Busca pode ajudar você a melhorar a Otimização do Motor de Busca (SEO) do seu site. Ele analisará como o Google indexa seu conteúdo online, retornando informações sobre erros comuns, como um aviso “Indexada, mas bloqueada pelo robots.txt”:

A screenshot showing the Google Search Console Index report
Relatório do Google Search Console Index

Para entender este erro, vamos primeiro discutir o robots.txt arquivo. Essencialmente, ele informa aos buscadores quais dos arquivos do seu site devem ou não ser indexados. Com um arquivo robots.txt bem estruturado, você pode garantir que apenas páginas importantes do site sejam rastreadas.

Se você recebeu um aviso de “Indexada, mas bloqueada pelo robots.txt”, os rastreadores do Google encontraram a página, mas note que ela está bloqueada em seu arquivo robots.txt. Quando isso acontece, o Google não tem certeza se você quer que a página seja indexada.

Como resultado, esta página pode aparecer nos resultados de pesquisa, mas não exibirá uma descrição. Ela também excluirá imagens, vídeos, PDF e arquivos não-HTML. Portanto, você precisará atualizar seu arquivo robots.txt se você quiser exibir esta informação.

Pode ser desencorajador ver o declínio do seu site no ranking de pesquisa. 📉 Este artigo está aqui para ajudar 💪Clique para Tweetar

Potenciais problemas na indexação de páginas

Você pode intencionalmente adicionar diretivas ao seu arquivo robots.txt que bloqueiam páginas de rastreadores. Entretanto, estas diretivas podem não remover completamente as páginas do Google. Caso um site externo se conectar à página, isso pode causar um erro “Indexada, mas bloqueada pelo robots.txt”.

O Google (e outros mecanismos de pesquisa) precisam indexar suas páginas antes que eles possam classificá-las com precisão. Para garantir que somente conteúdo relevante apareça nos resultados de pesquisa, é crucial entender como este processo funciona.

Embora certas páginas devam ser indexadas, elas podem não ser. Isto pode ser devido a algumas razões diferentes:

Por outro lado, algumas páginas da web não devem ser indexadas. Elas podem acabar sendo indexadas acidentalmente por causa desses fatores:

  • Diretrizes noindex incorretas
  • Links externos de outros sites
  • URLs antigas no índice do Google
  • Nenhum arquivo robots.txt

Se muitas de suas páginas estiverem indexadas, seu servidor pode ficar sobrecarregado com o rastreador do Google. Além disso, o Google pode perder tempo indexando páginas irrelevantes em seu site. Portanto, você precisará criar e editar seu arquivo robots.txt corretamente.

Encontrando a fonte do erro “Indexada, mas bloqueada pelo robots.txt”

Uma maneira eficaz de identificar problemas na indexação de páginas é fazer login no Google Search Console. Após verificar a propriedade do site, você conseguirá acessar relatórios sobre o desempenho do seu site.

Na seção Index, clique na aba Valid with warnings. Isto irá puxar para cima uma lista de seus erros de indexação, incluindo quaisquer avisos “Indexada, mas bloqueada pelo robots.txt”. Se você não vir nenhum, seu site provavelmente não está enfrentando este problema.

Alternativamente, você pode usar o robôs.txt tester do Google. Com esta ferramenta, você pode escanear seu arquivo robots.txt para procurar por avisos de sintaxe e outros erros:

A look inside the Google Search Console robots.txt tester
Teste do Google Search Console robots.txt

Na parte inferior da página, digite uma URL específica para ver se ela está bloqueada. Você precisará escolher um agente do usuário no menu suspenso e selecionar Test:

Testing a blocked URL
Teste uma URL bloqueada

Você também pode navegar para domain.com/robots.txt. Se você já tem um arquivo robots.txt , isto permitirá que você o veja:

Kinsta’s visual robots.txt file
O arquivo visual robots.txt da Kinsta

A seguir, procure por declarações de não aceitação. Os administradores do site podem adicionar essas declarações para instruir os rastreadores de pesquisa sobre como acessar arquivos ou páginas específicas.

Se a declaração de desautorização bloquear todos os mecanismos de pesquisa, pode ser parecido com isto:

Disallow: /

Ele também pode bloquear um agente-usuário específico:

User-agent: *

Disallow: /

Com qualquer uma dessas ferramentas, você conseguirá identificar qualquer problema com a indexação da sua página. Então, você precisará tomar providências para atualizar seu arquivo robots.txt.

Como corrigir o erro “Indexada, mas bloqueada pelo robots.txt”

Agora que você sabe mais sobre o arquivo robots.txt e como ele pode evitar a indexação da página, é hora de corrigir o erro “Indexada, mas bloqueada pelo robots.txt”. No entanto, certifique-se de avaliar primeiro se a página bloqueada precisa ser indexada antes de usar estas soluções.

Método 1: Edite o robots.txt diretamente

Se você tem um site WordPress, você provavelmente terá um arquivo robots.txt virtual. Você pode visitá-lo procurando por domain.com/robots.txt em um navegador web (substituindo domain.com pelo seu nome de domínio). No entanto, este arquivo virtual não permitirá que você faça edições.

Para começar a editar o robots.txt, você precisará criar um arquivo em seu servidor. Primeiramente, escolha um editor de texto e crie um novo arquivo. Certifique-se de chamá-lo de “robots.txt”:

Create a new robots.txt file in the text editor of your choice
Criar um novo arquivo robots.txt

Então, você precisará se conectar a um cliente SFTP. Se você estiver usando uma conta de hospedagem Kinsta, acesse o MyKinsta e navegue até Sites > Informações:

A look inside MyKinsta to see SFTP login credentials
Credenciais de login MyKinsta SFTP

Você encontrará seu nome de usuário, senha, host e número de porta aqui. Você pode então baixar um cliente SFTP como o FileZilla. Digite suas credenciais de login SFTP e clique em Quickconnect:

Connecting to FileZilla
Conectar ao FileZilla

Finalmente, carregue o arquivo robots.txt no seu diretório raiz (para sites WordPress, ele deve ser chamado public_html). Então, você pode abrir o arquivo e fazer as mudanças necessárias.

Você pode usar as declarações de permissão e não permissão para personalizar a indexação do seu site WordPress. Por exemplo, você pode querer que um determinado arquivo seja rastreado sem indexar a pasta inteira. Neste caso, você pode adicionar este código:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Lembre-se de direcionar a página causando o erro “Indexada, mas bloqueada pelo robots.txt” durante este processo. Dependendo do seu objetivo, você pode especificar se o Google deve ou não rastrear a página.

Quando você terminar, salve suas mudanças. Então, volte ao Google Search Console para ver se este método resolveu o erro.

Método 2: Use um plugin SEO

Se você tiver um plugin SEO ativado, você não terá que criar um arquivo robots.txt totalmente novo. Em muitos casos, a ferramenta de SEO irá construir um para você. Além disso, ela também pode fornecer maneiras de editar o arquivo sem sair do painel de controle do WordPress.

Yoast SEO

Um dos plugins mais populares de SEO é o Yoast SEO. Ele pode fornecer uma análise SEO detalhada na página, com ferramentas adicionais para personalizar a indexação do seu mecanismo de pesquisa.

Lutando com tempo de inatividade e problemas no WordPress? Kinsta é a solução de hospedagem projetada para economizar seu tempo! Confira nossos recursos

Para começar a editar seu arquivo robots.txt , vá para Yoast SEO > Ferramentas no seu painel WordPress. Da lista de ferramentas embutidas, selecione o editor de arquivos:

When using Yoast select Yoast SEO file editor
Selecione Yoast SEO editor de arquivos

Yoast SEO não irá criar automaticamente um arquivo robots.txt. Se você ainda não tem um, clique em Create robots.txt file:

Create a robots.txt file with Yoast SEO
Criar um arquivo robots.txt com Yoast SEO

Isto abrirá um editor de texto com o conteúdo do seu novo arquivo robots.txt. Semelhante ao primeiro método, você pode adicionar declarações de permissão às páginas que você quer que sejam indexadas. Alternativamente, use declarações de não autorização para URLs para evitar a indexação:

Edit Yoast SEO’s robots.txt file
Edit Yoast SEO’s robots.txt file

Após fazer suas mudanças, salve o arquivo. Yoast SEO irá alertá-lo quando você tiver atualizado o arquivo robots.txt.

Rank Math

Rank Math é outro plugin freemium que inclui um editor robots.txt. Após ativar a ferramenta em seu site WordPress, vá para Rank Math > General Settings > Edit robots.txt:

Rank Math robots.txt editor
Editor Rank Math robots.txt

No editor de código, você verá algumas regras padrão, incluindo o mapa do seu site. Para atualizar suas configurações, você pode colar ou apagar o código conforme necessário.

Durante este processo de edição, há algumas regras que você deve seguir:

  • Use um ou mais grupos, com cada grupo contendo múltiplas regras.
  • Comece cada grupo com um agente do usuário e siga com diretórios ou arquivos específicos.
  • Assumir que qualquer página da web permite indexação a menos que ela tenha uma regra de desautorização.

Tenha em mente que este método só é possível quando você ainda não tem um arquivo robots.txt em seu diretório raiz. Caso você tiver, você terá que editar o arquivo robots.txt diretamente usando um cliente SFTP. Alternativamente, você pode apagar este arquivo pré-existente e usar o editor de Rank Math no lugar dele.

Uma vez que você não autorizar uma página no robots.txt, você também deve adicionar uma diretiva noindex. Ela manterá a página privada das pesquisas do Google. Para fazer isso, navegue para Rank Math > Titles & Meta > Posts:

Open Rank Math’s post settings
Configurações de artigo do Open Rank Math

Role para baixo para Post Robots Meta e habilite-o. Em seguida, selecione No Index:

Enable noindex for posts in Rank Math
Habilitar noindex para artigos

Finalmente, salve suas mudanças. No Google Search Console, encontre o aviso “Indexada, mas bloqueada pelo robots.txt” e clique em Validate Fix. Isto permitirá ao Google recuperar as URLs indicadas e resolver o erro.

Squirrly SEO

Usando o plugin Squirrly SEO, você pode editar de forma similar o robots.txt. Para começar, clique em Squirrly SEO > Configuração SEO. Isto abrirá as configurações de Tweaks e Sitemap:

SEO sitemap settings in the Squirrly plugin
Configurações do mapa do site SEO Squirrly

No lado esquerdo, selecione a aba Robots File. Então, você verá um editor de arquivos robots.txt que se parece com outros plugins de SEO:

Squirrly SEO robots.txt file
Arquivo robots.txt Squirrly SEO

Usando o editor de texto, você pode adicionar declarações de permissão ou não de permissão para personalizar o arquivo robots.txt. Continue a adicionar tantas regras quantas você precisar. Quando você estiver satisfeito com a aparência deste arquivo, selecione Save Settings.

Além disso, você pode adicionar regras noindex a certos tipos de artigos. Para fazer isso, você simplesmente precisará desativar a configuração Let Google Index It na aba Automation. Por padrão, o SEO Squirrly deixará isso ativado.

Não deixe que este erro desagradável afete seu ranking de pesquisa arduamente conquistado. 🙅‍♀️ Comece a corrigir com a ajuda deste guia ✅Clique para Tweetar

Resumo

Tipicamente, o Google encontrará suas páginas web e as indexará em seus resultados de pesquisa. No entanto, um arquivo robots.txt mal configurado pode confundir os mecanismos de pesquisa se deve ignorar esta página durante o rastreamento. Neste caso, você precisará esclarecer as instruções de rastreamento para continuar maximizando SEO em seu site.

Você pode editar o robots.txt diretamente com um cliente SFTP como o FileZilla. Alternativamente, muitos plugins SEO, incluindo Yoast, Rank Math, e Squirrly SEO, incluem editores robots.txt dentro de suas interfaces. Usando qualquer uma dessas ferramentas, você conseguirá adicionar declarações de permissão e não permissão para ajudar os mecanismos de pesquisa a indexar seu conteúdo corretamente.

Para ajudar o seu site a subir no topo dos resultados de pesquisa, recomendamos a escolha de uma hospedagem web otimizado para SEO. Na Kinsta, nossos planos de hospedagem gerenciada de WordPress incluem ferramentas SEO, tais como monitoramento de tempo de atividade, certificados SSL, e gerenciamento de redirecionamento. Confira nossos planos hoje mesmo!


Obtenha todos os seus aplicativos, banco de dados e Sites WordPress on-line e sob o mesmo teto. Nossa plataforma de nuvens de alto desempenho e repleta de recursos inclui:

  • Fácil configuração e gerenciamento no painel MyKinsta
  • Suporte especializado 24/7
  • O melhor hardware e rede do Google Cloud Platform, alimentado por Kubernetes para a máxima escalabilidade
  • Integração Cloudflare de nível empresarial para velocidade e segurança
  • Audiência global com centros de dados de até 35 e 275+ PoPs no mundo todo

Teste você mesmo com um desconto de 20 dólares em seu primeiro mês de Hospedagem de Aplicativos ou Hospedagem de Banco de Dados. Explore nossos planos ou entre em contato com as vendas para encontrar seu melhor ajuste.