O tráfego de bots está representando uma parcela cada vez maior do tráfego na web e uma preocupação crescente para quem gerencia um site. Essa tendência foi reforçada pela análise de mais de 10 bilhões de requisições realizada pela Kinsta, em um ano no qual o tráfego de bots impulsionados por IA aumentaria aproximadamente 300%.

Com o crescimento do tráfego automatizado, o gerenciamento de bots deve ser proativo sempre que possível, antes que atividades incomuns prejudiquem o desempenho do site ou consumam recursos excessivos. Mas isso não significa bloquear todos os bots. Parte do tráfego automatizado, como o de crawlers de mecanismos de pesquisa e ferramentas de monitoramento, é benéfica, enquanto outros bots podem consumir recursos sem necessariamente ser maliciosos.

Por outro lado, alguns tipos de tráfego de bots podem causar problemas graves de desempenho ou segurança e precisam ser interrompidos rapidamente. O desafio é identificar com que tipo de tráfego você está lidando e escolher a resposta adequada.

É melhor planejar do que entrar em pânico

A melhor resposta não é entrar em pânico nem bloquear tudo. Em vez disso, você pode seguir este processo sempre que necessário:

  • Avalie o impacto. Entenda o que está acontecendo e qual tipo de tráfego é responsável.

  • Estabilize o site rapidamente, se necessário.

  • Desenvolva um plano de gerenciamento de longo prazo, decidindo qual tráfego permitir, aplicar verificação ou bloquear.

  • Monitore os resultados, faça ajustes conforme necessário e documente o processo para consultas futuras.

Vamos analisar cada etapa em mais detalhes. Ao final, compartilharemos uma lista de verificação que você poderá utilizar.

1. Identifique o que está acontecendo: é um problema relacionado a bots ou um ataque de fato?

Antes de tomar qualquer medida em relação ao tráfego de bots, é importante entender o que está acontecendo no seu site:

  • Seu site está enfrentando problemas comuns relacionados a bots que, embora precisem ser tratados de forma proativa, não representam emergências imediatas?

  • Seu site está sofrendo um ataque ativo de um agente malicioso? Ou, mesmo que não haja intenção maliciosa, existe algum tipo específico de tráfego automatizado consumindo recursos excessivos e causando problemas imediatos?

Se você identificar um ataque deliberado ou outro tipo de problema grave que exige atenção imediata, sua prioridade deve ser estabilizar o site o mais rápido possível. Explicaremos como fazer isso a seguir.

No entanto, mesmo que o tráfego de bots que chega ao seu site não esteja causando problemas atualmente, ainda é melhor lidar com esses bots de forma proativa, em vez de apenas reagir quando surgirem problemas. Essa abordagem permite controlar os bots antes que eles comecem a afetar o tráfego legítimo do seu site.

As análises de tráfego de bots da Kinsta podem ajudar você a entender quais tipos de bots estão acessando diferentes partes do seu site. Com essas informações, você pode identificar o que está acontecendo e definir como lidar com cada tipo de tráfego de bots.

As Análises de Detalhamento das requisições mostram o tráfego do seu site dividido em diferentes categorias:

  • Provavelmente humanos

  • Bots verificados (pelo Cloudflare)

  • Provavelmente bots

  • Crawlers de IA

  • Crawlers de IA com taxa excessiva de requisições

  • Tráfego não classificado

  • Tráfego automatizado

  • Tráfego malicioso

  • Regras personalizadas configuradas pela Kinsta para o seu site

  • Automações do WordPress

Detalhamento das requisições da proteção contra bots da Kinsta.
Detalhamento das requisições da proteção contra bots da Kinsta.

Se você rolar a página até a seção Principais fontes de tráfego, poderá visualizar os principais caminhos, agentes de usuário (user agents), países e endereços IP para diferentes classificações de tráfego.

Lista dos principais caminhos, agentes de usuário, países e endereços IP do tráfego de bots.
Visualizando os principais caminhos, agentes de usuário, países e endereços IP do tráfego de bots.

Essas informações mostram quais tipos de bots, e até mesmo quais bots específicos, estão acessando diferentes partes do seu site. Utilize esses dados para determinar se o site está recebendo tráfego legítimo de bots ou algum tipo de ataque malicioso.

O site está sob pressão?

Determinar se o seu site está sob pressão é um dos fatores mais importantes para avaliar a gravidade da situação.

Verifique se alguma das seguintes situações está ocorrendo:

  • Carregamento mais lento das páginas ou ocorrência de erros.

  • Aumento do uso de recursos do servidor, PHP ou banco de dados.

  • Picos de tráfego que não correspondem aos visitantes legítimos ou às métricas do site.

  • Grande quantidade de requisições direcionadas às mesmas URLs.

Se você estiver observando esses problemas, é provável que seu site esteja sob alguma pressão. Identificar essa situação é importante porque esses problemas afetam negativamente o tráfego legítimo e exigem medidas rápidas para estabilizar o site.

2. Estabilize o site, se necessário

Se os visitantes legítimos já estiverem sendo afetados, você não precisa concluir uma investigação completa antes de agir. Primeiro, estabilize o site para que ele volte a funcionar corretamente para os visitantes legítimos. Depois, refine suas regras quando a pressão imediata estiver sob controle.

Por outro lado, se o seu site não estiver enfrentando problemas no momento e você estiver apenas adotando medidas proativas para gerenciar o tráfego de bots, poderá avançar para as próximas etapas e adotar uma abordagem mais detalhada para gerenciar esse tráfego.

Para problemas graves que exigem estabilização imediata, considere as seguintes medidas:

  • Aumente temporariamente a proteção contra bots. Utilize ferramentas como a Proteção contra Bots da Kinsta para proteger rapidamente seu site contra bots.

  • Bloqueie o tráfego claramente abusivo. Isso permite bloquear as fontes de tráfego mais abusivas antes que suas requisições cheguem ao site.

  • Aplique verificação ao tráfego suspeito. Para o tráfego sobre o qual você ainda tem dúvidas, é possível aplicar uma verificação adicional para confirmar sua legitimidade. Explicaremos em mais detalhes o que significa “aplicar verificação” na próxima seção.

  • Preserve o acesso de crawlers e integrações essenciais. Isso garante que as principais funcionalidades do site e as métricas do negócio (como o posicionamento nos resultados de pesquisa do Google) não sejam afetadas.

A Proteção contra Bots da Kinsta oferece uma maneira rápida de estabilizar seu site, mantendo a flexibilidade necessária para desenvolver uma estratégia otimizada para o seu site.

A Kinsta já bloqueia o tráfego classificado como malicioso por meio de suas proteções básicas de segurança, mas níveis mais rigorosos de proteção contra bots podem ajudar a controlar o tráfego automatizado que não é necessariamente classificado como malicioso.

Por exemplo, você pode aplicar verificação a todos os bots não verificados ou a todos os visitantes.

Embora essas abordagens sejam mais rigorosas do que a maioria dos sites precisa em longo prazo, elas são uma ótima maneira de estabilizar rapidamente seu site e recuperar o controle da situação enquanto você desenvolve uma estratégia mais refinada.

Como alterar o nível de proteção contra bots na Kinsta.
Como alterar o nível de proteção contra bots na Kinsta.

3. Decida o que permitir, aplicar verificação ou bloquear

Quando tiver certeza de que seu site está estável, você poderá desenvolver uma estratégia de longo prazo para lidar com o tráfego de bots.

Você pode definir essa estratégia decidindo se deve Permitir,  Aplicar verificação ou Bloquear diferentes tipos de bots.

Veja o que esses termos significam:

  • Permitir: permite que a requisição acesse seu site.

  • Aplicar verificação: exige que a origem da requisição passe por uma etapa adicional de verificação antes de acessar o site. Na Kinsta, um visitante que passa pela verificação geralmente não precisa realizá-la novamente por pelo menos 10 dias, desde que utilize o mesmo navegador e endereço IP.

  • Bloquear: impede que a requisição acesse seu site.

Ao decidir se deve permitir, aplicar verificação ou bloquear diferentes tipos de bots, considere os seguintes critérios:

  • O bot oferece algum benefício? Por exemplo, os crawlers dos mecanismos de pesquisa ajudam seu site a receber tráfego de busca orgânica, e alguns crawlers de IA podem contribuir para a visibilidade do seu site ou para que ele seja citado em respostas geradas por IA. Por outro lado, um bot de extração de dados que não gera visitas ao seu site pode não oferecer nenhum benefício.

  • Quanto o tráfego de bots está custando para você? Analise o custo do tráfego de bots em termos de recursos do servidor (processamento, largura de banda e consultas ao banco de dados) e seu impacto no desempenho do site para os visitantes legítimos. Lembre-se de que nem todas as requisições são iguais: um bot que acessa um artigo de blog armazenado em cache geralmente consome muito menos recursos do que um bot que acessa uma página dinâmica (como o carrinho do WooCommerce).

  • O que acontece se você bloquear o bot? Considere as consequências do bloqueio. Por exemplo, bloquear o Googlebot pode impedir que o Google rastreie e indexe seu conteúdo corretamente, prejudicando significativamente sua visibilidade na Pesquisa Google. Por outro lado, você pode bloquear muitos outros bots sem consequências negativas para o seu site.

Veja como essas questões podem orientar suas decisões:

  • Permitir: considere essa abordagem quando o tráfego for legítimo e oferecer benefícios.

  • Bloquear: considere essa abordagem quando o tráfego for claramente indesejado, abusivo ou estiver gerando custos desproporcionais.

  • Aplicar verificação: considere essa abordagem quando não estiver claro qual é a melhor medida a tomar.

É importante destacar que você não precisa aplicar essas regras de maneira uniforme em todo o site. Você pode permitir que determinada categoria de bots acesse certos conteúdos, mas exigir verificações ou bloquear seu acesso a outros conteúdos.

A Proteção contra Bots da Kinsta ajuda você a implementar essas regras flexíveis por meio da criação de exceções baseadas em endereço IP, caminho, agente de usuário (user agent) ou país.

Como configurar exceções para o tráfego de bots com as ferramentas da Kinsta.
Como configurar exceções para o tráfego de bots.

Dicas para lidar com cenários específicos de tráfego de bots

Para ilustrar como aplicar esses critérios a um site WordPress, vamos analisar alguns cenários comuns envolvendo bots e como você pode lidar com cada um deles.

Esta não é uma lista completa de todas as situações possíveis. São apenas alguns exemplos comuns para mostrar como esses princípios podem funcionar em um site em funcionamento.

Um crawler de mecanismo de pesquisa está gerando muito tráfego

Se um crawler de mecanismo de pesquisa estiver gerando muitas requisições e você estiver preocupado com a sobrecarga do servidor, veja como lidar com a situação.

Primeiro, responda às seguintes perguntas:

  • Quais URLs estão sendo rastreadas?

  • O crawler está acessando conteúdo relevante e indexável?

  • Ele está preso em ciclos de rastreamento envolvendo parâmetros, filtros ou endpoints dinâmicos? Em outras palavras, URLs que não deveriam ser indexadas.

  • O desempenho para os visitantes legítimos está realmente sendo prejudicado?

Com base nessas respostas, você pode adotar as seguintes medidas:

  • Não bloqueie automaticamente o crawler. Investigue problemas e ineficiências no rastreamento em vez de bloquear o crawler por completo.

  • Priorize a preservação do acesso a conteúdos relevantes que podem ser indexados.

  • Restrinja ou desestimule o rastreamento de variações desnecessárias de URLs dinâmicas.

Crawlers de IA estão consumindo recursos significativos

Os crawlers de IA podem gerar muitas requisições, mas determinar se estão oferecendo algum benefício pode ser difícil.

Veja algumas perguntas que podem ajudar nessa avaliação:

  • Você considera importante a visibilidade do seu site e as citações ao seu conteúdo em respostas geradas por IA?

  • O crawler está gerando tráfego de referência significativo?

  • Ele está principalmente coletando conteúdo sem oferecer benefícios evidentes? Existe uma diferença entre ajudar a treinar gratuitamente um modelo de IA e aumentar sua visibilidade ou suas citações em respostas geradas por IA.

  • O tráfego está consumindo recursos significativos da infraestrutura?

Lembre-se de que você não precisa tratar todos os crawlers de IA da mesma maneira. Alguns podem oferecer mais benefícios do que outros, e é importante considerar essa diferença ao definir sua estratégia. As ferramentas de proteção contra bots da Kinsta podem ajudar você a criar regras específicas para diferentes crawlers.

Depois de responder a essas perguntas, considere adotar as seguintes medidas:

  • Permita o acesso de crawlers de IA que oferecem benefícios, desde que esse acesso esteja alinhado aos seus objetivos.

  • Submeta crawlers agressivos a verificações ou restrinja seu acesso.

  • Bloqueie crawlers de IA quando o tráfego oferecer poucos benefícios e consumir uma quantidade significativa de recursos.

Bots estão acessando endpoints dinâmicos com alto consumo de recursos

As visitas de bots a endpoints dinâmicos podem consumir significativamente mais recursos do que as visitas a páginas estáticas armazenadas em cache.

No WordPress, esses endpoints podem incluir páginas de carrinho de compras, finalização de compra, pesquisa e login, entre outras. Isso pode acontecer com frequência em lojas WooCommerce, embora também afete outros tipos de sites.

Embora esse tráfego de bots não seja necessariamente malicioso, ele pode causar problemas por vários motivos:

  • As requisições podem ignorar o cache.

  • As requisições exigem processamento PHP.

  • Consultas ao banco de dados podem ser executadas.

  • Clientes legítimos precisam competir pelos mesmos recursos.

Se você estiver enfrentando esses tipos de requisições, considere adotar as seguintes medidas:

  • Proteja os endpoints específicos que consomem muitos recursos.

  • Impeça o acesso desnecessário de crawlers às funcionalidades de carrinho e finalização de compra.

  • Não bloqueie os crawlers dos mecanismos de pesquisa em todo o site, pois normalmente é importante preservar o acesso deles a outros conteúdos.

  • Investigue o excesso de variações de URLs geradas por parâmetros e os ciclos de rastreamento.

  • Monitore o desempenho do servidor após aplicar as alterações.

Um bot de extração de dados desconhecido está percorrendo milhares de URLs

Em algumas situações, você pode encontrar um bot não identificado que percorre o site de forma excessiva e não oferece nenhum benefício evidente ao seu site.

Um bot desconhecido não significa automaticamente que ele seja malicioso, mas sua atividade merece uma investigação mais detalhada. Isso é especialmente importante se o bot estiver gerando um alto consumo de recursos.

Veja uma abordagem equilibrada para lidar com essa situação:

  • Verifique o agente de usuário (user agent), os endereços IP, os caminhos e o comportamento das requisições.

  • Determine se o bot faz parte de alguma integração da qual seu site realmente depende.

  • Submeta o bot a verificações se não tiver certeza sobre sua legitimidade.

  • Bloqueie o bot se o tráfego for claramente indesejado e estiver causando problemas.

  • Monitore possíveis problemas no seu site (caso descubra que o bot está associado a um serviço ou integração importante).

  • Fique atento à alternância de identidades utilizadas pelo bot ou a mudanças nos padrões de requisição.

4. Monitore os resultados e faça ajustes, se necessário

Depois de implementar sua estratégia para lidar com bots, é importante monitorar os resultados para garantir que ela esteja funcionando conforme o esperado.

Acompanhe os principais dados, incluindo análises de tráfego, uso de recursos, visibilidade nas pesquisas, citações em respostas geradas por IA e tráfego de referência proveniente de IA, além de outras métricas relevantes para o seu negócio.

Veja algumas perguntas específicas que devem orientar o monitoramento do seu site:

  • O tráfego indesejado diminuiu?

  • O desempenho do servidor melhorou?

  • Os crawlers legítimos continuam funcionando?

  • Alguma integração deixou de funcionar?

  • Você bloqueou acidentalmente algum tráfego valioso?

Com base nas respostas a essas perguntas, você poderá determinar se precisa tomar medidas adicionais:

  • Tudo está funcionando de maneira satisfatória: você pode manter as regras atuais. Continue verificando periodicamente se houve alguma mudança.

  • Os problemas com bots persistem: talvez seja necessário ajustar ainda mais as regras do seu site, adotando regras mais rigorosas para bloquear, aplicar verificação e/ou limitar a taxa de requisições do tráfego de bots.

  • Visitantes legítimos ou bots benéficos estão enfrentando problemas: talvez seja necessário adicionar exceções específicas ou ajustar as regras do site para permitir mais tráfego.

Reunindo tudo: uma lista de verificação para lidar com bots

Para recapitular o que abordamos, vamos concluir com uma lista de verificação que você pode utilizar para lidar com bots no seu site.

O ideal é aplicar essas etapas de forma proativa, antes que os bots se tornem um problema. No entanto, esta lista de verificação também pode ser utilizada quando você precisa reagir a um problema imediato.

Ao identificar tráfego incomum pela primeira vez

  • O site está realmente enfrentando problemas de desempenho?

  • O tráfego é humano, automatizado, malicioso ou uma combinação desses tipos?

  • Quais URLs estão recebendo esse tráfego?

  • Essas URLs estão armazenadas em cache ou são geradas dinamicamente?

  • Quais agentes de usuário, endereços IP e tipos de tráfego são responsáveis?

Se o site estiver sob pressão

  • Primeiro, estabilize o site.

  • Aumente a proteção contra bots, se necessário.

  • Submeta a verificações ou bloqueie o tráfego que está causando o problema imediato.

  • Preserve o acesso de crawlers e integrações essenciais sempre que possível.

Quando o site estiver estável

  • Determine se o tráfego oferece algum benefício para o negócio.

  • Avalie seu custo em termos de recursos de infraestrutura.

  • Decida se deve permitir, aplicar verificação ou bloquear o tráfego.

  • Faça alterações específicas.

  • Proteja os endpoints que consomem muitos recursos.

Após o incidente

  • Monitore os resultados.

  • Ajuste as regras conforme necessário, seja adicionando exceções, tornando-as mais rigorosas, entre outras medidas.

  • Documente o que aconteceu.

  • Revise a política periodicamente.

A Kinsta pode ajudar você a lidar com essa nova realidade

O tráfego de bots agora faz parte da operação normal de um site. No entanto, como alguns bots desempenham funções essenciais e oferecem benefícios reais, “bloquear todos os bots” não é uma estratégia realista nem recomendável para lidar com esse tráfego.

Em vez disso, desenvolva uma estratégia proativa que considere os benefícios e os custos dos diferentes tipos de bots nas diversas partes do seu site.

As ferramentas e análises de Proteção contra Bots da Kinsta oferecem aos proprietários de sites WordPress e às agências os dados e os controles necessários para gerenciar o tráfego automatizado sem tratar todos os bots da mesma maneira. Se quiser testar esses recursos, saiba mais sobre os planos de hospedagem da Kinsta hoje mesmo.

Steve Bonisteel Kinsta

Steve Bonisteel é um Editor Técnico na Kinsta que começou sua carreira de escritor como jornalista impresso, cobrindo ambulâncias e caminhões de bombeiros. Ele tem coberto tecnologia relacionada à Internet desde o final dos anos 1990.