Se você tiver pesquisado o backend do WordPress, você deve ter notado uma configuração que diz “Evitar que mecanismos de pesquisa indexe este site” e se perguntou o que isso significava.
Ou talvez você esteja procurando uma maneira de esconder seu site de visitantes indesejados e se perguntando se esta pequena caixa de seleção é suficiente para manter seu conteúdo privado e seguro.
O que significa esta opção? O que exatamente ela faz com seu site? E por que você deve evitar confiar nele – mesmo que você esteja tentando esconder seu conteúdo?
Aqui estão as respostas e alguns outros métodos para desindexar seu site e bloquear o acesso a determinadas páginas.
Confira nosso guia em vídeo para usar a opção ‘Evitar que Mecanismos de Pesquisa Indexe Este Site’ no WordPress
O que significa “Evitar que mecanismos de pesquisa indexe este site”?
Você já se perguntou como os mecanismos de pesquisa indexam o seu site e medem o seu SEO? Eles o fazem com um programa automatizado chamado de aranha, também conhecido como robô ou rastejador. Os rastreadores “rastreiam” a web, visitando sites e registrando todo o seu conteúdo.
O Google os utiliza para decidir como classificar e colocar seu website nos resultados da busca, pegar borrões de seus artigos para a página de resultados da pesquisa e puxar suas imagens para o Google Images.
Quando você assinala “Evitar que mecanismos de pesquisa indexe este site”, o WordPress modifica seu arquivo robots.txt (um arquivo que dá instruções aos rastreadore sobre como rastrear o seu site). Ele também pode adicionar uma meta tag ao cabeçalho de seu site que diz ao Google e a outros mecanismos de pesquisa para não indexar nenhum conteúdo em todo o seu site.
A palavra-chave aqui é “evitar”: Os mecanismo de pesquisa não têm obrigação de honrar este pedido, especialmente os mecanismo de pesquisa que não usam a sintaxe padrão robots.txt que o Google faz.
Web crawlers (rastreadores webs) ainda serão capazes de encontrar o seu site, mas rastreadores devidamente configurados irão ler o seu robots.txt e sair sem indexar o conteúdo ou mostrá-lo em seus resultados de pesquisa.
No passado, esta opção no WordPress não impedia o Google de mostrar seu site nos resultados de pesquisa, apenas de indexar seu conteúdo. Você ainda podia ver suas páginas aparecerem nos resultados de pesquisa com um erro como “Nenhuma informação está disponível para esta página” ou “Uma descrição para este resultado não está disponível devido ao robots.txt do site”.
Embora o Google não estivesse indexando a página, eles também não esconderam a página por completo. Esta anomalia fez com que as pessoas pudessem visitar páginas que não deveriam ver. Graças ao WordPress 5.3, ele agora funciona corretamente, bloqueando tanto a indexação quanto a listagem do site.
Você pode imaginar como isto destruiria seu SEO se você a ativasse por acidente. É fundamental usar esta opção apenas se você realmente não quiser que ninguém veja seu conteúdo – e mesmo assim, pode não ser a única medida que você quer tomar.
Por que você pode não querer indexar o seu site
Os sites são feitos para serem vistos pelas pessoas. Você quer que os usuários leiam seus artigos, comprem seus produtos, consumam seu conteúdo – por que você tentaria intencionalmente bloquear os mecanismos de pesquisa?
Há algumas razões pelas quais você pode querer esconder parte ou seu site inteiro.
- Seu site está em desenvolvimento e não está pronto para ser visto pelo público.
- Você está usando o WordPress como um sistema de gerenciamento de conteúdo, mas quer manter esse conteúdo privado.
- Você está tentando esconder informações sensíveis.
- Você quer seu site acessível apenas a um pequeno número de pessoas com um link ou apenas através de convites, não através de páginas de pesquisas públicas.
- Você quer colocar algum conteúdo atrás de um paywall ou outro portal, como artigos exclusivos para boletins informativos.
- Você quer cortar o tráfego para artigos antigos e desatualizados.
- Você quer evitar penalidades de SEO nas páginas de teste ou conteúdo duplicado.
Existem soluções melhores para alguns deles – usando um servidor de desenvolvimento offline adequado, colocando seus artigos em privado ou colocando-os atrás de uma senha – mas existem razões legítimas pelas quais você pode querer desindexar parte ou todo o seu site.
Como verificar se o seu site está evitando os mecanismos de pesquisa
Embora você possa ter razões legítimas para desindexar seu site, pode ser um choque horrível saber que você ativou este ajuste sem sentido ou o deixou ativado por acidente. Se você está recebendo tráfego zero e suspeita que o seu site não está sendo indexado, aqui está como confirmar.
Uma maneira simples é verificar a caixa At a Glance localizada na tela inicial do seu painel de controle. Basta entrar em seu backend e marcar a caixa. Se você ver “Search Engines Discouraged”, então você sabe que ativou essa configuração.
Uma maneira ainda mais confiável é verificar seu robots.txt. Você pode verificar isto facilmente no navegador sem mesmo fazer login em seu site.
Para verificar robots.txt, tudo o que você precisa fazer é adicionar /robots.txt ao final da URL do seu site. Por exemplo: https://kinsta.com/robots.txt
Se você ver Disallow: / então seu site inteiro está sendo bloqueado da indexação.
Se você ver Disallow: seguido por um caminho URL, como Disallow: /wp-admin/, isso significa que qualquer URL com o caminho /wp-admin/ está sendo bloqueada. Esta estrutura é normal para algumas páginas, mas se, por exemplo, está bloqueando /blog/ que tem páginas que você quer indexar, isso pode causar problemas!
Agora que o WordPress usa meta tags em vez de robots.txt para deindexar seu site, você também deve verificar seu cabeçalho para modificações.
Entre em seu backend e vá para Appearance > Theme Editor. Encontre Theme Header (header.php) e procure o seguinte código:
<meta name='robots' content='noindex,nofollow' />
Você também pode verificar o functions.php para a tag noindex, pois é possível inserir o código remotamente no cabeçalho através deste arquivo.
Se você encontrar este código em seus arquivos temáticos, então seu site não está sendo indexado pelo Google. Mas ao invés de removê-lo manualmente, vamos tentar primeiro desativar a configuração original.
Como evitar que mecanismos de pesquisa indexem no WordPress
Se você quiser pular as etapas extras e ir direto para a configuração original, aqui está como ativar ou desativar a opção “Evitar que mecanismos de pesquisa indexe este site” no WordPress.
Acesse seu painel de controle do WordPress e navegue até Configurações > Leitura. Procure a opção de Visibilidade do mecanismo de busca/pesquisa com uma caixa de seleção rotulada “Evitar que mecanismos de busca/pesquisa indexe este site”.
Se você descobrir que isso já está acontecendo e quiser que seu site seja indexado, então desmarque-o. Se você vai impedir que seu site seja indexado, verifique (e anote em algum lugar uma nota lembrando-o de desativar mais tarde!).
Agora clique em Salvar mudanças, e você estará pronto. Pode levar algum tempo para que seu site seja reindexado ou para que ele seja retirado dos resultados de pesquisa.
Se seu site ainda estiver desindexado, você também pode remover o código noindex do seu arquivo de cabeçalho, ou editar manualmente o robot.txt para remover a bandeira “Disallow”.
Então isso é simples, mas quais são algumas razões pelas quais você deve evitar essa opção, ou pelo menos não confiar inteiramente nela?
Desvantagens de usar a opção “Evitar que mecanismos de pesquisa indexe este site”
Parece simples – assinale uma caixa de seleção e ninguém poderá ver seu site. Isso não é bom o suficiente? Por que você deve evitar usar esta opção por conta própria?
Quando você liga esta configuração ou qualquer opção como esta, tudo o que faz é adicionar uma tag ao seu cabeçalho ou ao seu robots.txt. Como mostrado pelas versões mais antigas do WordPress ainda permitindo que seu site seja listado nos resultados de pesquisa, uma pequena falha ou outro erro pode fazer com que as pessoas vejam suas páginas supostamente ocultas.
Além disso, cabe inteiramente aos mecanismo de pesquisa honrar o pedido de não rastrear o seu site. Os principais mecanismo de pesquisa como Google e Bing normalmente o farão, mas nem todos os mecanismo de pesquisa usam a mesma sintaxe robots.txt, e nem todos os rastreadores da web são enviadas pelos mecanismos de pesquisa.
Por exemplo, um serviço que faz uso de rastreadores de web é a Wayback Machine. E seu conteúdo é indexado por tal serviço, ele está na web para sempre.
Você pode pensar que só porque seu novo site não tem links para ele, ele está a salvo de rastreadores, mas isso não é verdade. Existindo em um servidor compartilhado, enviar um e-mail com um link para seu site, ou mesmo visitar seu site em um navegador (especialmente o Chrome) pode abrir o seu site até ser rastreado.
Se você quiser esconder conteúdo, não é uma boa idéia adicionar um parâmetro e esperar que ele faça o truque.
E sejamos claros, se o conteúdo que você está desindexando é de natureza sensível ou pessoal, você não deve absolutamente confiar no robots.txt ou numa meta tag para escondê-lo.
Por último, mas não menos importante, esta opção esconderá totalmente seu site dos mecanismos de pesquisa, enquanto muitas vezes você só quer desindexar certas páginas.
Então o que você deveria estar fazendo ao invés de ou ao lado deste método?
Outras formas de evitar a indexação nos mecanismo de pesquisa
Embora a opção fornecida pelo WordPress geralmente faça seu trabalho, para certas situações, muitas vezes é melhor empregar outros métodos de esconder conteúdo. Até mesmo o próprio Google diz para não usar robots.txt para esconder páginas.
Enquanto o seu site tiver um nome de domínio e estiver em um servidor de interface pública, não há como garantir que seu conteúdo não será visto ou indexado por rastreadores a menos que você o exclua ou esconda atrás de uma senha ou requisito de login.
Dito isto, quais são as melhores maneiras de esconder seu site ou certas páginas nele?
Mecanismo de pesquisa de blocos com .htaccess
Embora sua implementação seja funcionalmente a mesma que simplesmente usar a opção “Evitar mecanismos de busca/pesquisa”, você pode desejar usar manualmente o .htaccess para bloquear a indexação do seu site.
Você precisará usar um programa FTP/SFTP para acessar seu site e abrir o arquivo .htaccess, geralmente localizado na pasta raiz (a primeira pasta que você vê quando abre o seu site) ou em public_html. Acrescente este código ao arquivo e salve:
Header set X-Robots-Tag "noindex, nofollow"Nota: Este método só funciona para servidores Apache. Os servidores NGINX, como os que rodam no Kinsta, precisarão adicionar este código ao arquivo .conf, que pode ser encontrado em /etc/nginx/ (você pode encontrar um exemplo de implementação de meta tags aqui):
add_header X-Robots-Tag "noindex, nofollow";Páginas sensíveis protegidas por senha
Se há certos artigos ou páginas que você não quer que os mecanismos de pesquisa indexem, a melhor maneira de escondê-los é proteger seu site com senha. Dessa forma, somente você e os usuários que você deseja poderão ver esse conteúdo.
Felizmente, esta funcionalidade está integrada no WordPress, portanto não há necessidade de instalar nenhum plugin. Basta ir para Artigos ou Páginas e clicar no que você quer esconder. Edite sua página e procure pelo menu Status e Visibilidade > Visibilidade, no lado direito.
Se você não estiver usando Gutenberg, o processo é semelhante. Você pode encontrar o mesmo menu na caixa Publicar.
Altere a Visibilidade para Protegida por senha e insira uma senha, depois salve – e seu conteúdo agora será escondida do público em geral.
E se você quiser proteger o seu site inteiro com senha? Não é prático exigir uma senha para cada página.
Os usuários Kinsta estão com sorte: Você pode habilitar a proteção por senha em Sites > Ferramentas, exigindo tanto um nome de usuário quanto uma senha.
Caso contrário, você pode usar um plugin de restrição de conteúdo (por exemplo, protegido por senha). Por favor, instale-o e ative-o, depois vá para Configurações > Senha Protegida e ative o Status Protegido por Senha. Isto lhe dá um controle mais preciso, permitindo até mesmo que você faça uma lista branca de certos endereços IP.
Instale um plugin WordPress
Quando a funcionalidade padrão do WordPress não é suficiente, um bom plugin pode muitas vezes resolver seus problemas.
Por exemplo, se você quiser desindexar páginas específicas em vez de seu site inteiro, o Yoast tem esta opção disponível.
Em Yoast SEO, você pode abrir uma página que deseja ocultar e procurar a opção sob a guia Avançado: Permitir que os mecanismos de pesquisa mostrem este artigo nos resultados de pesquisas? Altere-o para Não e a página será escondida.
Você deve observar que ambos dependem dos mesmos métodos que a opção padrão do WordPress para evitar a indexação nos mecanismos de pesquisa, e estão sujeitos às mesmas falhas. Alguns mecanismos de pesquisa podem não honrar o seu pedido. Você precisará empregar outros métodos se realmente quiser esconder este conteúdo completamente.
Outra solução é fazer um paywall de seu conteúdo ou ocultá-lo atrás de um login necessário. Os plugins Simple Membership ou Ultimate Member podem ajudá-lo a configurar o conteúdo gratuito ou pago de membros.
Use um ambiente de teste
Ao trabalhar em projetos de teste ou sites em andamento, sua melhor aposta em mantê-los escondidos é usar um site de teste ou desenvolvimento. Estes sites são privados, muitas vezes hospedados em uma máquina local que ninguém além de você e outros que você permitiu acessar.
Muitos provedores de hospedagem lhe fornecerão sites de teste fáceis de implementar e lhe permitirão mover para o seu servidor público quando você estiver pronto. A Kinsta oferece um site de teste com um clique para todos os planos.
Você pode acessar seus ambientes de teste no MyKinsta indo em Sites > Informações e clicando no menu suspenso Mudar ambiente. Clique no ambiente de teste e depois no botão Criar ambiente de teste. Em alguns minutos, seu servidor de desenvolvimento estará pronto para testes.
Se você não tiver acesso a uma maneira fácil de criar um ambiente de teste, o plugin WP STAGING pode ajudá-lo a duplicar sua instalação e movê-lo para uma pasta de fácil acesso.
Use o Google Search Console para ocultar temporariamente sites da web
O Google Search Console é um serviço que permite a você reivindicar a propriedade de seus sites. Com isto vem a capacidade de bloquear temporariamente o Google de indexar determinadas páginas.
Este método tem um par de problemas: É exclusivo do Google (portanto, sites como o Bing não serão afetados) e dura apenas 6 meses.
Mas se você quer uma maneira rápida e fácil de obter seu conteúdo dos resultados de pesquisa do Google temporariamente, esta é a maneira de fazer isso.
Se você ainda não o fez, precisará adicionar o seu site ao Google Search Console. Com isso feito, abra Removals e selecione Temporary Removals > New Request. Em seguida, clique em Remove this URL only e crie um link para a página que você deseja ocultar.
Esta é uma forma ainda mais confiável de bloquear conteúdo, mas, mais uma vez, funciona exclusivamente para o Google e dura apenas 6 meses.
Resumo
Há muitas razões pelas quais você pode querer esconder conteúdo em seu site, mas confiar na opção “Evitar que mecanismos de pesquisa indexe este site” não é a melhor maneira de garantir que tal conteúdo não seja visto.
A menos que você queira esconder o seu site inteiro da web, você nunca deve clicar nesta opção, pois ela pode causar enormes danos ao seu SEO se for acidentalmente comutada.
E mesmo se você quiser esconder o seu site, esta opção padrão é um método não confiável. Ela deve ser pareada com a proteção por senha ou outro tipo de bloqueio, especialmente se você estiver lidando com conteúdo sensível.
Você usa algum outro método para esconder seu site ou partes dele? Informe-nos na seção de comentários.
Salman Ravoof é um desenvolvedor web autodidata, escritor, criador e grande admirador de Software Livre e de Código Aberto (FOSS). Além de tecnologia, ele se entusiasma com ciência, filosofia, fotografia, artes, gatos e comida. Saiba mais sobre ele em seu site e conecte-se com Salman no X.
Deixe um comentário