Quando o uso de recursos em um site de cliente começa a aumentar sem um crescimento correspondente no número de visitas, o tráfego de bots provavelmente é a causa. Bots que acessam endpoints não armazenáveis em cache, como ações de carrinho, páginas de produtos com filtros e consultas de pesquisa, acionam a execução de PHP e consultas ao banco de dados em cada solicitação. Como resultado, o cache de páginas nunca tem a oportunidade de absorver esse tráfego.
Embora o instinto inicial seja bloquear todo o tráfego automatizado, Googlebot, Bingbot, leitores RSS e monitores de tempo de atividade fazem parte da mesma categoria automatizada dos bots que você deseja interromper. Bloquear tudo remove o tráfego que mantém seus sites visíveis e funcionando.
A Proteção contra bots da Kinsta permite filtrar solicitações que geram custos sem agregar valor e permitir a passagem daquelas que realmente importam. Esses controles operam na camada de infraestrutura, o que significa que a filtragem ocorre antes mesmo que as solicitações cheguem ao seu site WordPress.
Por que bloquear o tráfego de forma generalizada não é a solução
Um bloqueio rígido de todo o tráfego automatizado é, em teoria, uma estratégia válida para reduzir o desperdício de largura de banda do servidor. No entanto, essa abordagem também elimina as solicitações das quais você depende. Por exemplo, bloqueios rígidos impedem que Googlebot e Bingbot rastreiem seu conteúdo, ferramentas de monitoramento de tempo de atividade deixam de realizar as verificações necessárias e integrações de API que conectam os fluxos de trabalho dos seus clientes ao WordPress deixam de funcionar.
Por outro lado, o tráfego que vale a pena bloquear é um subconjunto específico do total: bots não verificados e automações que acessam endpoints não armazenáveis em cache. Em muitos casos, eles não contribuem para SEO, experiência do usuário nem geração de receita.
De acordo com David Belson, ex-diretor de Data Insights do Cloudflare, esse é um comportamento típico de muitas ações executadas por bots:
A maior parte do que estamos observando não é maliciosa. São bots se comportando de forma ineficiente em escala, e é aí que os problemas reais começam.
Um bot que segue variações de URL não consegue reconhecer que está preso em um loop. Por exemplo, ele pode tratar cada filtro de produto, string de consulta ou parâmetro de carrinho como uma página distinta. Nossos próprios dados de infraestrutura registraram 550 milhões de solicitações filtradas por uma única regra de detecção de loops em uma janela de 30 dias. O servidor processa cada uma delas como trabalho real, independentemente da intenção.
A segurança em nível de plataforma da Kinsta já lida com as ameaças mais evidentes ao bloquear o tráfego classificado como malicioso antes que ele chegue ao seu site. Isso inclui mitigação de DDoS e solicitações originadas de IPs associados a fontes de ataque conhecidas. No entanto, entre essa proteção básica e o tráfego que você deseja permitir, existe uma camada intermediária de segurança voltada para bots não verificados e indesejados.
Filtrar seletivamente o tráfego automatizado restante é o que impede que o consumo de recursos continue aumentando enquanto o número de visitas permanece estável. Esse é um padrão que muitas agências que gerenciam hospedagem para WordPress para vários clientes reconhecem como um sinal de que a carga gerada por bots ultrapassou o limite que a camada de segurança padrão consegue lidar sozinha.
Entenda o tráfego que você realmente está gerenciando
A Kinsta classifica cada solicitação usando uma combinação de sua própria análise de tráfego e do sistema de Aprendizado de Máquina (Machine Learning) do Cloudflare, que atribui a cada visitante uma pontuação de bot de 1 a 99. Uma pontuação de 99 indica que a solicitação provavelmente veio de um humano. Uma pontuação de 1 confirma atividade automatizada.
Existem cinco categorias que importam para as decisões de proteção:
- Bots verificados são tráfego automatizado proveniente de organizações reconhecidas. Isso inclui Googlebot, Bingbot e outros serviços presentes no diretório de bots verificados do Cloudflare. Eles passam por todos os níveis de proteção, independentemente das suas configurações.
- Prováveis humanos possuem pontuação entre 30 e 99 e representam visitantes reais com comportamento normal de navegação.
- Prováveis bots possuem pontuação entre 2 e 29 e representam automações não verificadas detectadas como atividade provável de bot.
- Tráfego automatizado possui pontuação igual a 1 e abrange bots confirmados, mas também inclui ferramentas que se conectam programaticamente ao seu site sem uma identidade verificada. Isso inclui integrações personalizadas, scripts de implantação, monitores de tempo de atividade auto-hospedados e muito mais.
- Crawlers de IA com taxa excessiva de solicitações são bots de IA que geram carga por meio de solicitações em alta frequência ou em loop.
Existem outras duas categorias que merecem ser mencionadas. Primeiro, o tráfego malicioso é bloqueado automaticamente em todos os níveis de proteção, sem necessidade de configuração. Além disso, existe o tráfego não classificado. Normalmente, trata-se de um volume muito pequeno e inofensivo de tráfego. Geralmente consiste em solicitações internas de serviços que não afetam o servidor de origem, como solicitações geradas quando seu site retorna uma página de erro.
Como entender o uso de recursos usando o MyKinsta
Entender qual categoria de tráfego está impulsionando o consumo de recursos é o primeiro passo. A visualização Tráfego de bots e automatizado nas Análises do MyKinsta mostra como as solicitações que chegam ao seu site são classificadas, facilitando a identificação de situações em que o tráfego automatizado está contribuindo para o aumento da carga.
Para encontrar esses dados, acesse Sites > nome do site > Análises > Tráfego de bots e automatizado.
Essa visualização categoriza o tráfego em bots verificados, prováveis bots, Crawlers de IA, crawlers agressivos, tráfego automatizado e prováveis humanos. Em vez de deduzir a atividade de bots indiretamente apenas pela largura de banda do servidor ou pela contagem de visitas, você pode visualizar quanto tráfego automatizado realmente está chegando ao seu site e como a Kinsta o classifica.
Por exemplo, picos em crawlers agressivos ou tráfego automatizado geralmente indicam bots acessando repetidamente endpoints não armazenados em cache. Da mesma forma, grandes volumes de tráfego de Crawlers de IA podem explicar aumentos inesperados no consumo de largura de banda do servidor ou na carga do servidor de origem, mesmo quando o tráfego humano permanece relativamente estável.
O gráfico Resultados da proteção contra bots também mostra como as solicitações são tratadas após a classificação, incluindo o tráfego que foi permitido, submetido a verificação ou bloqueado. Isso oferece uma visão mais clara de como suas configurações de proteção afetam o tráfego recebido antes de alterar os níveis de proteção.
O relatório Principais solicitações por visualizações nas Análises também ajuda a identificar os endpoints exatos que recebem o maior volume de solicitações. Um agrupamento de solicitações repetidas para caminhos não armazenáveis em cache, como URLs de adicionar ao carrinho, páginas de produtos com filtros, consultas de pesquisa e endpoints de checkout, normalmente indica que bots estão consumindo recursos do servidor que o cache não consegue absorver.
Em conjunto, essas análises oferecem a maneira mais clara de correlacionar padrões de tráfego com o consumo de recursos antes de decidir qual nível de proteção aplicar.
Como funciona a Proteção contra bots da Kinsta
Os controles da Proteção contra bots no MyKinsta operam na camada de infraestrutura. A filtragem ocorre antes que as solicitações cheguem ao PHP ou ao banco de dados, portanto, a redução na carga do servidor se aplica ao custo total da solicitação. Isso significa que não há necessidade de instalar um plugin nem fazer alterações de configuração no WordPress.
A Kinsta classifica o tráfego recebido usando uma combinação de sua própria análise de tráfego e do sistema de detecção de bots de nível empresarial do Cloudflare. As solicitações são categorizadas em grupos de tráfego, como bots verificados, prováveis bots, Crawlers de IA, crawlers agressivos, tráfego automatizado e prováveis humanos. O nível de proteção selecionado determina como cada categoria será tratada.
Todos os controles de proteção contra bots ficam em Sites > nome do site > Proteção contra bots.
Existem quatro componentes principais na tela de Proteção contra bots:
- Níveis de proteção que determinam se o tráfego será permitido, submetido a verificação ou bloqueado.
- Uma opção separada para Bloquear Crawlers de IA.
- A configuração Permitir automações típicas do WordPress para APIs comuns do WordPress e funcionalidades executadas em segundo plano.
- Exceções: Sempre permitir para fontes de tráfego confiáveis.
Como parte da integração da Kinsta com o Cloudflare, a infraestrutura subjacente de pontuação e verificação de bots é de nível empresarial por padrão.
Escolhendo um nível de proteção
Você pode escolher entre quatro níveis na seção Nível de proteção da tela de Proteção contra bots:
- Bloquear tráfego malicioso é o padrão em todos os sites da Kinsta. Ele realiza mitigação de DDoS e bloqueia tráfego proveniente de IPs e endpoints associados a fontes de ataque conhecidas.
- Bloquear automações amplia a opção padrão para também bloquear tráfego automatizado confirmado, enquanto mantém intactos visitantes humanos e prováveis humanos.
- Aplicar verificação a bots bloqueia o tráfego automatizado e malicioso e adiciona uma etapa de verificação para prováveis bots. Visitantes aprovados não receberão nova verificação durante dez dias usando o mesmo navegador e endereço IP. Observe que verificações baseadas em CAPTCHA podem ser difíceis para visitantes que utilizam tecnologias assistivas, algo importante a considerar em sites com requisitos de acessibilidade.
- Aplicar verificação a todos aplica verificações também aos prováveis humanos, tornando essa opção mais adequada para uso temporário durante picos de tráfego do que como configuração permanente.
Para alterar o nível, acesse Sites > nome do site > Proteção contra bots e clique em Alterar. Você também pode aplicar alterações em vários sites acessando Sites, selecionando os sites desejados e usando Ações > Alterar proteção contra bots.
Aumentar a proteção para Aplicar verificação a bots ou superior pode afetar ferramentas que se conectam programaticamente ao seu site. Qualquer serviço que não esteja listado no diretório de bots verificados do Cloudflare será bloqueado ou submetido a verificação nesses níveis.
Permitindo automações típicas do WordPress
Algumas funcionalidades do WordPress dependem de solicitações automatizadas para funcionar normalmente. Isso inclui recursos como a API REST do WordPress, tarefas agendadas executadas em segundo plano, integrações de plugins, ferramentas de SEO, formulários, conexões de análises e serviços de sincronização.
A configuração Permitir automações típicas do WordPress ajuda a preservar esses fluxos de trabalho comuns do WordPress enquanto continua filtrando tráfego automatizado indesejado. Isso reduz o risco de funcionalidades legítimas serem bloqueadas ao utilizar níveis de proteção mais rigorosos.
Se o seu site depende de integrações personalizadas ou serviços de terceiros, ainda é recomendável testar funcionalidades críticas após habilitar configurações de proteção mais restritivas.
Bloqueando Crawlers de IA
A opção Bloquear Crawlers de IA tem como alvo os Crawlers de IA que coletam conteúdo para treinamento de modelos, geração aumentada por recuperação (RAG) e recursos de pesquisa baseados em IA. Ela bloqueia esses crawlers, incluindo os verificados, como o GPTBot, mas não afeta crawlers de mecanismos de pesquisa. O Googlebot e o Bingbot continuam rastreando e indexando seu site, independentemente de a opção estar habilitada ou desabilitada.
Para habilitar a funcionalidade, acesse Sites > nome do site > Proteção contra bots e clique no botão de alternância ao lado de Bloquear Crawlers de IA. Para vários sites, utilize Ações > Alterar bloqueio de Crawlers de IA na visualização de Sites.
Para sites nos quais você suspeita que o volume de crawlers de IA esteja causando impacto com base nos dados das suas análises, essa opção remove esse tráfego sem afetar a visibilidade tradicional nos mecanismos de pesquisa. No entanto, as consequências são uma menor visibilidade em resumos gerados por IA e em resumos de conteúdo.
Os crawlers bloqueados por essa opção alimentam os sistemas que exibem conteúdo em respostas e recomendações geradas por IA. Para estratégias de conteúdo que dependem dessa exposição, vale a pena monitorar o impacto antes de manter a opção habilitada permanentemente.
Criando exceções com “Sempre permitir”
A seção Sempre permitir permite criar exceções para tráfego que nunca deve ser bloqueado nem submetido a verificação pela Proteção contra bots.
Isso é útil para integrações confiáveis, serviços de monitoramento, sistemas de implantação, APIs internas ou visitantes específicos que precisam de acesso ininterrupto ao seu site.
Você pode criar exceções com base em:
- Endereços IP ou intervalos de IP
- Caminhos ou endpoints
- User agents
Por exemplo, você pode colocar um serviço de monitoramento na lista de permissões, isentar um endpoint de API personalizado das verificações ou garantir que um fluxo de trabalho de implantação continue funcionando normalmente sob níveis de proteção mais rigorosos.
Como as exceções são aplicadas antes da execução das regras de proteção, elas devem ser usadas com cuidado e revisadas periodicamente para evitar o bypass involuntário das proteções de segurança.
Pare de desperdiçar largura de banda para tráfego que não retorna nada
O tráfego de bots não gerenciado gera carga no servidor que nenhuma otimização de código consegue resolver, pois ele chega antes que o cache tenha a oportunidade de absorvê-lo. Esse tráfego consome Threads PHP e conexões com o banco de dados em cada solicitação.
A solução não é bloquear toda a automação, mas filtrar seletivamente o tráfego que desperdiça recursos enquanto permite a passagem dos bots e serviços dos quais o seu site depende.
Se você deseja ter mais controle sobre como o tráfego automatizado é tratado no seu site, a Proteção contra bots da Kinsta oferece ferramentas para monitorar, classificar, aplicar verificação e bloquear tráfego indesejado diretamente no MyKinsta.
