Wenn die Ressourcenauslastung auf einer Client-Website steigt, ohne dass die Besucherzahlen entsprechend zunehmen, ist Bot-Traffic wahrscheinlich die Ursache. Bots, die nicht zwischenspeicherbare Endpunkte wie Warenkorb-Aktionen, gefilterte Produktseiten und Suchanfragen aufrufen, lösen bei jeder Anfrage eine PHP-Ausführung und Datenbankabfragen aus. Daher hat dein Seiten-Cache nie die Chance, diese zu absorbieren.
Auch wenn dein erster Impuls darin besteht, den gesamten automatisierten Traffic zu blockieren, wären Googlebot, Bingbot, RSS-Reader und Verfügbarkeitsmonitore genauso betroffe wie die Bots, die du stoppen möchtest. Wenn du alles blockierst, entfernst du damit den Traffic, der dafür sorgt, dass deine Seiten sichtbar bleiben und funktionieren.
Mit dem Bot-Schutz von Kinsta kannst du Anfragen herausfiltern, die Kosten verursachen, ohne einen Mehrwert zu bieten, und die wichtigen Anfragen durchlassen. Diese Kontrollen finden auf der Infrastrukturebene statt, was bedeutet, dass die Filterung erfolgt, bevor die Anfragen überhaupt deine WordPress-Website erreichen.
Warum eine pauschale Blockierung des Datentraffics nicht die Lösung ist
Eine vollständige Blockierung des gesamten automatisierten Datentraffics ist theoretisch eine sinnvolle Taktik, um Bandbreitenverschwendung zu reduzieren. Allerdings werden dabei auch die Anfragen entfernt, auf die du angewiesen bist. So können beispielsweise durch pauschale Sperren Googlebot und Bingbot deine Inhalte nicht mehr crawlen, Tools zur Verfügbarkeitsüberwachung erfüllen nicht mehr die von dir benötigten Aufgaben und API-Integrationen, die die Workflows deiner Kunden mit WordPress verbinden, funktionieren nicht mehr.
Im Gegensatz dazu ist der Traffic, der gestoppt werden sollte, nur eine bestimmte Untergruppe des Ganzen: nicht verifizierte Bots und Automatisierungen, die nicht zwischenspeicherbare Endpunkte ansteuern. Diese tragen in vielen Fällen weder zur Suchmaschinenoptimierung (SEO) noch zur Benutzererfahrung oder zum Umsatz bei.
Laut David Belson, ehemaliger Leiter des Bereichs „Data Insights“ bei Cloudflare, ist dies jedoch ein typisches Verhalten vieler botbasierter Aktivitäten:
Das meiste, was wir beobachten, ist nicht böswillig. Es sind Bots, die sich in großem Maßstab ineffizient verhalten, und genau da fangen die wirklichen Probleme an.
Ein Bot, der URL-Variationen verfolgt, kann nicht erkennen, dass er sich in einer Schleife befindet. Stell dir zum Beispiel vor, jeder Produktfilter, jede Abfragezeichenfolge oder jeder Warenkorbparameter würde als eigenständige Seite behandelt. Unsere eigenen Infrastrukturdaten verzeichneten innerhalb eines Zeitraums von 30 Tagen 550 Millionen Anfragen, die durch eine einzige Regel zur Schleifenerkennung gefiltert wurden. Ein Server verarbeitet jede einzelne davon als echte Arbeit, unabhängig von der Absicht.
Die Sicherheit auf Plattformebene von Kinsta bewältigt bereits die offensichtlichsten Bedrohungen, indem sie als bösartig eingestuften Traffic blockiert, bevor er deine Website erreicht. Dies umfasst DDoS-Abwehr und Anfragen von IP-Adressen, die mit bekannten Angriffsquellen in Verbindung stehen. Zwischen diesem Basisschutz und dem Traffic, den du durchlassen möchtest, liegt jedoch eine mittlere Sicherheitsebene zum Schutz vor unüberprüften und unerwünschten Bots.
Das selektive Filtern des verbleibenden automatisierten Datentraffics verhindert, dass der Ressourcenverbrauch steigt, während die Besucherzahlen stagnieren. Genau dieses Muster erkennen viele Agenturen, die WordPress-Hosting für mehrere Kunden betreiben, als Zeichen dafür, dass die durch Bots verursachte Auslastung die Schwelle überschritten hat, die die Standard-Sicherheitsschicht allein bewältigen kann.
Den Datentraffic verstehen, den du tatsächlich verwaltest
Kinsta klassifiziert jede Anfrage mithilfe einer Kombination aus eigener Datentrafficanalyse und dem Machine-Learning-System von Cloudflare, das jedem Besucher einen Bot-Score zwischen 1 und 99 zuweist. Ein Score von 99 deutet darauf hin, dass die Anfrage höchstwahrscheinlich von einem Menschen stammt; ein Score von 1 bestätigt automatisierte Aktivität.
Es gibt fünf Kategorien, die für Schutzentscheidungen relevant sind:
- Verifizierte Bots sind automatisierter Traffic von anerkannten Organisationen. Dazu gehören Googlebot, Bingbot und andere Dienste aus dem Verzeichnis der verifizierten Bots von Cloudflare. Diese werden auf jeder Schutzstufe durchgelassen, unabhängig von deinen Einstellungen.
- Wahrscheinliche Menschen erreichen einen Wert zwischen 30 und 99 und stellen echte Besucher mit normalem Surfverhalten dar.
- Wahrscheinlich Bots erreichen einen Wert zwischen 2 und 29 und stehen für nicht verifizierte Automatisierung, die als wahrscheinliche Bot-Aktivität erkannt wurde.
- Automatisierter Traffic hat einen Wert von eins und umfasst bestätigte Bots, beinhaltet aber auch Tools, die sich programmgesteuert und ohne verifizierte Identität mit deiner Website verbinden. Dazu gehören benutzerdefinierte Integrationen, Bereitstellungsskripte, selbst gehostete Verfügbarkeitsmonitore und mehr.
- KI-Crawler mit übermäßiger Zugriffsrate sind KI-Bots, die durch hochfrequente oder sich wiederholende Anfragen eine hohe Auslastung erzeugen.
Es gibt noch zwei weitere Kategorien, die erwähnenswert sind. Erstens wird bösartiger Traffic auf jeder Schutzstufe automatisch blockiert, ohne dass eine Konfiguration erforderlich ist. Es gibt jedoch auch nicht klassifizierten Traffic. Dabei handelt es sich in der Regel um sehr geringe, harmlose Traffic-Mengen. Er besteht meist aus internen Service-Anfragen, die keinen Einfluss auf den Ursprungsserver haben, wie zum Beispiel Anfragen, die generiert werden, wenn deine Website eine Fehlerseite zurückgibt.
So verstehst du deine Ressourcenauslastung mit MyKinsta
Zu verstehen, welche Datentraffickategorie den Ressourcenverbrauch verursacht, ist dein erster Schritt. Die Analyseansicht für Bot- und automatisierten Datentraffic in MyKinsta zeigt, wie die Anfragen, die deine Website erreichen, klassifiziert werden, sodass du leichter erkennen kannst, wann automatisierter Traffic zu einer erhöhten Auslastung beiträgt.
Um diese Daten zu finden, gehe zu Websites > DEIN_WEBSITENAME > Analytics > Bot- und automatisierter Datentraffic.
Diese Ansicht unterteilt den Traffic in verifizierte Bots, wahrscheinliche Bots, KI-Crawler, aggressive Crawler, automatisierten Traffic und wahrscheinliche menschliche Nutzer. Anstatt Bot-Aktivitäten nur indirekt anhand der Bandbreite oder der Besucherzahlen abzuleiten, kannst du hier sehen, wie viel automatisierter Traffic tatsächlich deine Website erreicht und wie Kinsta ihn klassifiziert.
Beispielsweise deuten Spitzen bei aggressiven Crawlern oder automatisiertem Datentraffic oft darauf hin, dass Bots wiederholt nicht zwischengespeicherte Endpunkte ansteuern. Ebenso kann ein hohes Volumen an KI-Crawler-Datentraffic unerwartete Bandbreitenanstiege oder eine erhöhte Serverauslastung erklären, selbst wenn der menschliche Traffic relativ stabil bleibt.
Das Diagramm zu den Bot-Schutz-Ergebnissen zeigt außerdem, wie Anfragen nach der Klassifizierung behandelt werden, einschließlich des Traffics, der zugelassen, überprüft oder blockiert wurde. So bekommst du ein klareres Bild davon, wie sich deine Schutzeinstellungen auf den eingehenden Datentraffic auswirken, bevor du die Schutzstufen änderst.
Der Bericht „Top-Anfragen nach Aufrufen“ in Analytics hilft dir außerdem dabei, genau die Endpunkte zu identifizieren, die das höchste Anfragevolumen verzeichnen. Eine Häufung wiederholter Anfragen an nicht zwischenspeicherbare Pfade – wie z. B. „In den Warenkorb“-URLs, gefilterte Produktseiten, Suchanfragen und Checkout-Endpunkte – deutet in der Regel darauf hin, dass Bots Serverressourcen beanspruchen, die der Cache nicht auffangen kann.
Zusammen bieten diese Analysen den klarsten Weg, Traffic-Muster mit der Ressourcennutzung zu verknüpfen, bevor du entscheidest, welche Schutzstufe du anwenden möchtest.
So funktioniert der Bot-Schutz von Kinsta
Die Bot-Schutz-Einstellungen in MyKinsta wirken auf der Infrastrukturebene. Die Filterung erfolgt, bevor Anfragen die PHP- oder Datenbankebene erreichen, sodass die Entlastung des Servers sich auf die gesamten Kosten der Anfrage auswirkt. Das bedeutet, dass kein Plugin und keine Änderungen an der WordPress-Konfiguration erforderlich sind.
Kinsta klassifiziert den eingehenden Traffic mithilfe einer Kombination aus eigener Datentrafficanalyse und dem Bot-Erkennungssystem von Cloudflare auf Enterprise-Niveau. Anfragen werden in Datentrafficgruppen wie „verifizierte Bots“, „wahrscheinliche Bots“, „KI-Crawler“, „aggressive Crawler“, „automatisierter Traffic“ und „wahrscheinlich menschliche Nutzer“ eingeteilt. Die von dir gewählte Schutzstufe bestimmt dann, wie mit den einzelnen Kategorien umgegangen wird.
Alle Einstellungen zum Bot-Schutz findest du unter Websites > DEIN_WEBSITENAME > Bot-Schutz.
Der Bildschirm „Bot-Schutz“ umfasst vier Hauptkomponenten:
- Schutzstufen, die festlegen, ob Traffic zugelassen, überprüft oder blockiert wird.
- Ein separater Schalter zum Blockieren von KI-Crawlern.
- Einstellungen zum Zulassen typischer WordPress-Automatisierungen für gängige WordPress-APIs und Hintergrundfunktionen.
- Ausnahmen für vertrauenswürdige Traffic-Quellen immer zulassen.
Im Rahmen der Cloudflare-Integration von Kinsta entspricht die zugrunde liegende Infrastruktur zur Bot-Bewertung und -Überprüfung standardmäßig Enterprise-Standard.
Auswahl einer Schutzstufe
Im Bereich Schutzstufe auf dem Bildschirm Bot-Schutz stehen dir vier Stufen zur Auswahl:
- Bösartigen Datentraffic blockieren ist die Standardeinstellung auf jeder Kinsta-Website. Diese Option sorgt für DDoS-Abwehr und blockiert Traffic von IP-Adressen und Endpunkten, die mit bekannten Angriffsquellen in Verbindung stehen.
- Automatisierungen blockieren erweitert die Standardoption, um auch bestätigten automatisierten Traffic zu blockieren, während menschliche und wahrscheinlich menschliche Besucher unberührt bleiben.
- Bots herausfordern blockiert automatisierten und böswilligen Datentraffic und fügt einen Verifizierungsschritt für mutmaßliche Bots hinzu. Besucher, die diesen Schritt bestehen, werden zehn Tage lang auf demselben Browser und derselben IP-Adresse nicht erneut herausgefordert. Beachte, dass CAPTCHA-basierte Herausforderungen für Besucher, die assistive Technologien nutzen, schwierig sein können – das solltest du bei Websites mit Barrierefreiheitsanforderungen berücksichtigen.
- Alle abfragen wendet die Abfragen auch auf mutmaßliche Menschen an und eignet sich daher besser für den kurzfristigen Einsatz bei einem Traffic-Anstieg als als dauerhafte Einstellung.
Um die Stufe zu ändern, gehe zu Websites > DEIN_WEBSITENAME > Bot-Schutz und klicke auf die Schaltfläche Ändern. Du kannst eine Änderung auch für mehrere Websites gleichzeitig vornehmen, indem du zu Websites gehst, die entsprechenden Websites auswählst und Aktionen > Bot-Schutz ändern wählst.
Eine Erhöhung auf die Stufe Bots herausfordern oder höher kann sich auf Tools auswirken, die programmgesteuert eine Verbindung zu deiner Website herstellen. Alle Dienste, die nicht im verifizierten Bot-Verzeichnis von Cloudflare aufgeführt sind, werden auf diesen Stufen blockiert oder einer Überprüfung unterzogen.
Typische WordPress-Automatisierungen zulassen
Einige WordPress-Funktionen sind auf automatisierte Anfragen angewiesen, um normal zu funktionieren. Dazu gehören Funktionen wie die WordPress-REST-API, geplante Hintergrundaufgaben, Plugin-Integrationen, SEO-Tools, Formulare, Analytics-Verbindungen und Synchronisierungsdienste.
Die Einstellung „Typische WordPress-Automatisierungen zulassen“ hilft dabei, diese gängigen WordPress-Workflows aufrechtzuerhalten und gleichzeitig unerwünschten automatisierten Datentraffic herauszufiltern. Dadurch wird das Risiko verringert, dass legitime Funktionen bei Verwendung strengerer Schutzstufen blockiert werden.
Wenn deine Website auf benutzerdefinierte Integrationen oder Dienste von Drittanbietern angewiesen ist, lohnt es sich dennoch, wichtige Funktionen zu testen, nachdem du strengere Schutzeinstellungen aktiviert hast.
KI-Crawler blockieren
Der Schalter KI-Crawler blockieren zielt auf KI-Crawler ab, die Inhalte für das Modelltraining, die abrufgestützte Generierung und KI-gestützte Suchfunktionen sammeln. Er blockiert diese Crawler, einschließlich verifizierter wie GPTBot, hat jedoch keinen Einfluss auf Suchmaschinen-Crawler. Googlebot und Bingbot crawlen und indexieren deine Website weiterhin, unabhängig davon, ob der Schalter ein- oder ausgeschaltet ist.
Um die Funktion zu aktivieren, gehe zu Websites > DEIN_WEBSITENAME > Bot-Schutz und klicke auf den Schieberegler neben KI-Crawler blockieren. Bei mehreren Websites verwende Aktionen > KI-Crawler-Blockierung ändern in der Websites-Ansicht.
Bei Websites, bei denen du aufgrund deiner Analysedaten vermutest, dass das Volumen an KI-Crawlern Auswirkungen hat, entfernt der Schalter diese, ohne die Sichtbarkeit in herkömmlichen Suchmaschinen zu beeinträchtigen. Der Nachteil ist jedoch eine geringere Sichtbarkeit in KI-Übersichten und Inhaltszusammenfassungen.
Crawler, die durch diesen Schalter blockiert werden, speisen die Systeme, die Inhalte in KI-generierten Antworten und Empfehlungen anzeigen. Bei Content-Strategien, die auf diese Sichtbarkeit angewiesen sind, solltest du die Auswirkungen beobachten, bevor du den Schalter dauerhaft aktiviert lässt.
Ausnahmen mit „Immer zulassen“ erstellen
Im Bereich „Immer zulassen“ kannst du Ausnahmen für Traffic erstellen, der niemals von Bot Protection blockiert oder überprüft werden soll.
Das ist nützlich für vertrauenswürdige Integrationen, Überwachungsdienste, Bereitstellungssysteme, interne APIs oder bestimmte Besucher, die ununterbrochenen Zugriff auf deine Website benötigen.
Du kannst Ausnahmen basierend auf folgenden Kriterien erstellen:
- IP-Adressen oder IP-Bereiche
- Pfade oder Endpunkte
- User-Agents
Du kannst beispielsweise einen Überwachungsdienst auf die Whitelist setzen, einen benutzerdefinierten API-Endpunkt von Überprüfungen ausnehmen oder sicherstellen, dass ein Deployment-Workflow auch bei strengeren Schutzstufen weiterhin normal funktioniert.
Da Ausnahmen vor der Durchsetzung von Schutzregeln angewendet werden, sollten sie sorgfältig eingesetzt und regelmäßig überprüft werden, um zu vermeiden, dass Sicherheitsmaßnahmen unbeabsichtigt umgangen werden.
Keine Bandbreite mehr für Traffic bereitstellen, der keine Daten zurückgibt
Unverwalteter Bot-Traffic erzeugt eine Serverlast, die durch keine Code-Optimierung erreicht werden kann, da er eintrifft, bevor der Cache ihn auffangen kann. Dieser Traffic verbraucht bei jeder Anfrage PHP-Threads und Datenbankverbindungen.
Die Lösung besteht nicht darin, jegliche Automatisierung zu blockieren, sondern den Traffic, der Ressourcen verschwendet, selektiv herauszufiltern und gleichzeitig die Bots und Dienste zuzulassen, auf die deine Website angewiesen ist.
Wenn du mehr Kontrolle darüber haben möchtest, wie automatisierter Datentraffic auf deiner Website behandelt wird, bietet dir der Bot-Schutz von Kinsta die Tools, um unerwünschten Traffic direkt über MyKinsta zu überwachen, zu klassifizieren, zu überprüfen und zu blockieren.
Joel ist Frontend-Entwickler und arbeitet bei Kinsta als Technical Editor. Er ist ein leidenschaftlicher Lehrer mit einer Vorliebe für Open Source und hat über 200 technische Artikel geschrieben, die sich hauptsächlich um JavaScript und seine Frameworks drehen.
