Wenn die Ressourcenauslastung auf einer Client-Website steigt, ohne dass die Besucherzahlen wirklich zunehmen, scheint ein Upgrade des Tarifs der richtige Schritt zu sein. Das ist ein vernünftiger Ansatz, wenn das Wachstum auf echtem Traffic beruht, der die Auslastung erhöht und mehr Kapazität erfordert.
Allerdings sorgt eine Skalierung zwar für mehr Ressourcen, reduziert aber nicht die Anzahl der Anfragen, die den Server erreichen. Wenn Bot-Traffic zu diesen Anfragen und zur Serverauslastung beiträgt, gibt eine größere Kapazität diesen Bots nur noch mehr Spielraum.
Infolgedessen steigen die Betriebskosten, während die Leistungsprobleme unverändert bleiben. Das Kinsta Bot Protection-Tool wurde genau für solche Situationen entwickelt, da es dir die Kontrolle darüber gibt, was deinen Server erreicht, anstatt die Angriffsfläche zu vergrößern, die diesen Datenverkehr aufnimmt.
Warum sich Bots nicht wie echter Traffic verhalten
Ein menschlicher Besucher, der auf eine langsame Seite stößt, wartet vielleicht, lädt sie neu oder verlässt die Seite einfach. Im Gegensatz dazu sendet ein Bot weiterhin das gleiche Volumen an Anfragen, unabhängig davon, wie dein Server darauf reagiert. Dieses Kernproblem, dass sich der Bot-Traffic nicht selbst regulieren kann, wenn du Ressourcen hinzufügst, bedeutet, dass ein Upgrade deines Tarifs den Bots mehr Kapazität zum Verbrauch bietet.
Es wird noch komplexer, wenn man berücksichtigt, wie moderne WordPress-Seiten Anfragen verarbeiten. Der meiste Bot-Traffic landet nicht auf statischen Seiten, die dein Cache bewältigen kann. Stattdessen trifft er auf Endpunkte, die Caching-Systeme umgehen und den Server zu höherer Leistung zwingen. Auf jeder Seite, auf der WooCommerce, Suchfunktionen oder Filter zum Einsatz kommen, bedeutet das, dass Bots auf verschiedene Elemente zugreifen:
- Aktionen im Warenkorb und Varianten des Parameters
?add-to-cart=. - Gefilterte Produktseiten mit verschiedenen Kombinationen von Abfrageparametern.
- Suchanfragen.
- Schritte im Bestellvorgang und Aktionen in der Wunschliste.
- AJAX-gesteuerte Interaktionen.
Keines dieser Elemente lässt sich so zwischenspeichern wie eine statische Seite. Bei jeder Anfrage, die bei einem dieser Endpunkte eingeht, passieren serverseitig einige Dinge:
- PHP-Ausführung. Ein PHP-Thread wird für die gesamte Dauer der Anfrage reserviert. Bei anhaltender Bot-Auslastung sind die Threads schnell ausgelastet, und deine Besucher müssen warten.
- Datenbankabfragen. Dynamische Seiten fragen bei jedem Laden die Datenbank ab, da es keine Cache-Ebene gibt, die dies abfangen könnte.
- Sitzungsverwaltung. Warenkorb- und Checkout-Seiten erstellen oder validieren bei jeder Anfrage eine Sitzung, was selbst bei Bots, die nicht konvertieren, zusätzlichen Overhead verursacht.
Unseren eigenen Infrastrukturdaten zufolge konnte ein einzelner Bot innerhalb von 24 Stunden 3,75 Millionen Anfragen an „In den Warenkorb“-URLs generieren. Das entspricht etwa einer Anfrage alle 23 Millisekunden, rund um die Uhr. Außerdem hat eine einzige Regel zur Erkennung von Schleifen innerhalb eines Zeitfensters von 30 Tagen 550 Millionen Anfragen plattformweit gefiltert.
Allerdings handelt es sich hierbei nicht um Angriffsvolumina im herkömmlichen Sinne. Sie sind das Ergebnis von Bots, die darauf ausgelegt sind, jeder URL zu folgen, die sie finden – einschließlich einiger Variationen von Abfragezeichenfolgen und parameterbasierten Pfaden.
„Aus Sicht der Infrastruktur gibt es so etwas wie ‚nur Bot-Traffic‘ nicht. Jede Anfrage bedeutet echte Arbeit. In großem Maßstab ist ineffizientes Crawling kein Traffic-Problem mehr, sondern wird zu einem Ressourcenproblem.“ – Daniel Pataki, CTO, Kinsta
So sehen die Kosten für Bot-Traffic aus
Ein typisches Muster bei Agenturen verläuft zyklisch: Sobald die Ressourcennutzung steigt, rüsten die Kunden ihren Tarif auf, woraufhin die Ressourcennutzung erneut steigt. Dabei verbessert sich die Leistung nicht, da sich das zugrunde liegende Anfragevolumen nicht verändert hat.
Da Kinsta bei der Abrechnung den Bot-Traffic aus deiner Tarifnutzung herausrechnet, kannst du schnell feststellen, ob Bots ein Problem darstellen. Erkannte Bot-User-Agents werden im „Visits“-Bildschirm der MyKinsta-Analytics bereits herausgefiltert. Wenn diese Statistiken normal aussehen, während dein Server unter Belastung steht, ist automatisierter Traffic wahrscheinlich die Ursache.
Die Analyseansicht für Bots und automatisierten Traffic in MyKinsta bietet eine übersichtlichere Aufschlüsselung des Traffics, der auf deine Website gelangt, einschließlich verifizierter Bots, wahrscheinlicher Bots, KI-Crawler, aggressiver Crawler, automatisierten Traffics und wahrscheinlicher menschlicher Besucher.
So lässt sich leichter erkennen, wann automatisierter Traffic den Ressourcenverbrauch in die Höhe treibt. Beispielsweise deuten Spitzen bei aggressiven Crawlern oder automatisiertem Traffic oft darauf hin, dass Bots wiederholt auf nicht zwischengespeicherte Endpunkte zugreifen.
Das Diagramm zu den Bot-Schutz-Ergebnissen zeigt außerdem, wie Anfragen nach der Klassifizierung behandelt werden, einschließlich des Datenverkehrs, der zugelassen, überprüft oder blockiert wurde. So bekommst du ein klareres Bild davon, wie sich deine aktuellen Schutzeinstellungen auf den eingehenden Datenverkehr auswirken.
Der Bericht „Top-Anfragen nach Aufrufen“ zeigt zudem, was deinen Server belastet, und umfasst den gesamten Datenverkehr, nicht nur abrechnungsrelevante Besuche. Die Differenz zwischen diesen beiden Werten ist der Bereich, in dem sich deine Kosten ohne klare Erklärung ansammeln.
So interpretierst du diese Differenz:
- Überprüfe zunächst die „Besuche“ unter „Seiten“ > „
Seitenname“ > „Analytics“ > „Plan-Nutzung“. Wenn die Besucherzahlen normal aussehen, hast du es nicht mit einem echten Anstieg des menschlichen Datenverkehrs zu tun. - Öffne „Top-Anfragen nach Aufrufen“, um den gesamten Datenverkehr einschließlich Bots anzuzeigen. Eine Häufung von Anfragen mit hohem Volumen auf nicht zwischenspeicherbaren Pfaden (URLs zum Hinzufügen zum Warenkorb, Variationen von Abfragezeichenfolgen oder Schritte im Bestellvorgang) bestätigt, dass Bots Ressourcen beanspruchen, auf die dein Cache nicht zugreifen kann.
- Wirf einen kurzen Blick auf den Leistungsbericht. Hier zeigen sich botbedingte Belastungen als Serverauslastung durch erhöhte PHP-Antwortzeiten oder das Erreichen von Thread-Limits.
Wenn du Kundenportfolios verwaltest, ist jede von bot-getriebener Last betroffene Website ein Kostenfaktor, der schwer zu erfassen ist – besonders, wenn sich die Performance nach einem Upgrade nicht verbessert hat. Der AI-Bot-Traffic ist im letzten Jahr um 300 % gestiegen, während jeder 31. Webbesuch von einem AI-Bot stammt. Das ist kein Volumen, das sich von selbst in Luft auflöst.
Die plattformweite Sicherheit von Kinsta blockiert bereits eingehenden Datenverkehr, der als bösartig eingestuft wird, bevor er deine Website erreicht – dazu gehören DDoS-Abwehrmaßnahmen und Anfragen von IP-Adressen, die mit bekannten Angriffsquellen in Verbindung stehen. Zwischen diesen Maßnahmen und dem von dir gewünschten Datenverkehr gibt es eine Kategorie von unüberprüften, volumenstarken und ressourcenintensiven automatisierten Anfragen, die deinen Server trotzdem erreichen. Die Bot-Schutz-Funktionen von Kinsta helfen dabei, dieses Volumen zu reduzieren.
So funktioniert der Bot-Schutz von Kinsta
Die Bot-Schutz-Einstellungen in MyKinsta arbeiten auf der Infrastrukturebene, und die Filterung erfolgt, noch bevor WordPress überhaupt ins Spiel kommt. Daher musst du kein Plugin installieren oder WordPress-Einstellungen anpassen.
Kinsta klassifiziert jede Anfrage mithilfe einer Kombination aus eigener Traffic-Analyse und dem Machine-Learning-System von Cloudflare, das jedem Besucher einen Bot-Score zwischen 1 und 99 zuweist. Hohe Werte bedeuten, dass die Anfrage höchstwahrscheinlich von einem Menschen stammt; niedrige Werte deuten auf automatisierte Aktivität hin.
Der Datenverkehr wird in Kategorien wie „verifizierte Bots“, „wahrscheinliche Bots“, „KI-Crawler“, „aggressive Crawler“, „automatisierter Datenverkehr“ und „wahrscheinliche Menschen“ eingeteilt. Die von dir gewählte Schutzstufe bestimmt, wie mit den einzelnen Kategorien umgegangen wird.
Du kannst den Bot-Schutz in MyKinsta unter „Seiten“ > „Seitenname“ > „Bot-Schutz“ verwalten.
Auswahl einer Schutzstufe
Im Bereich „Schutzstufe“ auf dem Bildschirm „Bot-Schutz“ stehen vier Stufen zur Auswahl:
- „Bösartigen Datenverkehr blockieren“ ist die Standardeinstellung, die DDoS-Abwehr übernimmt und Datenverkehr von IPs und Endpunkten blockiert, die mit bekannten Angriffsquellen in Verbindung stehen.
- „Automatisierungen blockieren“ baut auf der Standardeinstellung auf und blockiert zusätzlich bestätigten automatisierten Datenverkehr, lässt aber verifizierte Bots und echte Besucher durch.
- „Bots herausfordern“ blockiert automatisierten und böswilligen Datenverkehr und fügt einen Verifizierungsschritt für mutmaßliche Bots hinzu. Besucher, die diesen Schritt bestehen, werden zehn Tage lang auf demselben Browser und derselben IP-Adresse nicht erneut herausgefordert.
- „Alle herausfordern“ wendet die Überprüfung auch auf mutmaßliche Menschen an. Diese Stufe eignet sich für den kurzfristigen Einsatz bei Traffic-Spitzen.
Um die Stufe zu ändern, gehe zu „Seiten“ > „Seitenname“ > „Bot Schutz“ und klicke auf „Ändern“. Über „Seiten“ kannst du die entsprechenden Websites auswählen und „Aktionen“ > „Bot-Schutz ändern“ nutzen.
Wenn du jedoch auf „Bots herausfordern“ oder eine höhere Stufe hochstufst, werden alle Tools, die sich programmgesteuert mit deiner Website verbinden und nicht im verifizierten Bot-Verzeichnis von Cloudflare aufgeführt sind, blockiert oder einer Überprüfung unterzogen. Dies umfasst benutzerdefinierte Integrationen, Bereitstellungsskripte und selbst gehostete Verfügbarkeitsmonitore. Wenn du auf eines dieser Tools angewiesen bist, solltest du vor dem Erhöhen der Schutzstufe überprüfen, ob es in der Liste aufgeführt ist.
AI-Crawler blockieren
Der Schalter „KI-Crawler blockieren“ zielt speziell auf KI-Crawler ab. Dabei handelt es sich um Bots, die Inhalte für das Modelltraining, die „Retrieval-Augmented Generation“ und KI-gestützte Suchfunktionen sammeln. Dies hat keine Auswirkungen auf Suchmaschinen-Crawler, umfasst jedoch dedizierte Crawler wie GPTBot. Googlebot und Bingbot indexieren deine Website weiterhin, unabhängig davon, ob der Schalter ein- oder ausgeschaltet ist.
Im Allgemeinen dienen 80 % aller KI-Crawling-Aktivitäten dem Modelltraining und nicht von Nutzern ausgelösten Suchanfragen. Dies generiert keinen Referral-Traffic zurück zu deiner Website. Daher ist es eine gute Idee, diese Funktion zu aktivieren. Um die Funktion zu aktivieren, gehe zu „Seiten“ > „Seitenname“ > „Bot-Schutz“ und klicke auf den Schieberegler neben „KI-Crawler blockieren“. Bei mehreren Websites verwende „Aktionen“ > „KI-Crawler-Blockierung ändern“ in der „Seiten“-Ansicht.
Der Nachteil ist jedoch eine geringere Sichtbarkeit in KI-generierten Übersichten und Inhaltszusammenfassungen. Wenn diese Sichtbarkeit für deine Content-Strategie wichtig ist, lohnt es sich, die Auswirkungen zu beobachten, bevor du den Schalter dauerhaft aktiviert lässt.
Wenn deine Priorität in der Steuerung der Serverauslastung liegt, ist dies eine übersichtlichere Option als das Bearbeiten der robots.txt oder das Erstellen individueller Regeln pro Bot. Im Gegensatz zu diesen Ansätzen greift diese Funktion bereits auf der Infrastruktur-Ebene, noch bevor eine Anfrage WordPress überhaupt erreicht.
Schutzmanagement im gesamten Kundenportfolio
Verschiedene Websites erfordern unterschiedliche Schutzstufen, daher ist ein WooCommerce-Shop mit gefilterten Produktseiten nicht mit einer Content-Plattform vergleichbar. Hinzu kommt, dass jede Website in einem Kundenportfolio ein anderes Traffic-Profil, andere Integrationen und eine unterschiedliche Toleranz gegenüber den Verifizierungsschritten aufweist. Das bedeutet, dass die Anwendung einer einheitlichen Richtlinie auf das gesamte Portfolio einige Websites übermäßig einschränken oder andere unzureichend schützen würde.
Wenn du Anzeichen dafür erkennst, dass Bot-Traffic die Kosten auf einer Kunden-Website in die Höhe treibt, gibt es folgenden praktischen Arbeitsablauf:
- Beginne in der Ansicht „Bot- und automatisierter Traffic-Analytik“ in MyKinsta. Wenn der menschliche Traffic stabil bleibt, während automatisierter Traffic, aggressive Crawler oder AI-Crawler-Aktivitäten zunehmen, ist botgetriebene Auslastung die wahrscheinliche Ursache.
- Öffne als Nächstes unter „Analytics“ den Bereich „Top-Anfragen nach Aufrufen“ und suche nach hohen Anfragemengen bei nicht zwischenspeicherbaren Pfaden. Eine Häufung von Aktivitäten bei „In den Warenkorb“-URLs, gefilterten Produktseiten, Checkout-Schritten, Suchanfragen oder Variationen von Abfragezeichenfolgen ist ein starker Indikator für bot-bedingte Ressourcenauslastung.
- Der Leistungsbericht hilft dabei, die Auswirkungen zu bestätigen. Steigende PHP-Antwortzeiten, erhöhter Durchsatz oder das Erreichen von Thread-Limits sind Anzeichen dafür, dass sich automatisierter Traffic als Serverbelastung bemerkbar macht.
- Wende daraufhin die passende Schutzstufe für die Website an. „Automatisierungen blockieren“ ist in der Regel der richtige Ausgangspunkt, während „Bots herausfordern“ eine weitere Verifizierungsebene für vermutlich bot-basierten Traffic hinzufügt, der weiterhin den Ursprungsserver erreicht.
- Bei Websites, die auf Integrationen, APIs oder automatisierte WordPress-Funktionen angewiesen sind, helfen Einstellungen wie „Typische WordPress-Automatisierungen zulassen“ und „Ausnahmen immer zulassen“, das Risiko zu verringern, dass legitime Dienste blockiert werden.
- Änderungen werden ohne Ausfallzeiten wirksam, und du kannst sie sofort rückgängig machen, falls sich eine Einstellung als restriktiver erweist, als es die Integrationen einer Website verkraften können. Da die Steuerelemente außerhalb von WordPress liegen, besteht während der Evaluierung kein Risiko für die Website selbst.
Für Agenturen, die große Portfolios über WordPress-Hosting betreiben, wird dies dadurch eher zu einer Routineaufgabe als zu einem Projekt. Wenn die Schutzeinstellungen dem tatsächlichen Traffic-Profil jeder Website entsprechen, spiegelt die Ressourcenauslastung die reale Nutzeraktivität wider. Die Leistungskennzahlen entsprechen dem, was echte Besucher erleben:
„Das Missverständnis besteht darin, zu glauben, Bot-Traffic sei ein einfaches ‚Blockieren-oder-Zulassen‘-Problem. In Wirklichkeit geht es um Richtlinien, Transparenz und wirtschaftliche Kontrolle.“ – Cristian Lopez, Chefredakteur, HostingAdvice
Die Erklärung,die du einem Kunden für die Kosten gibst,sollte sich auf Entscheidungen beziehen, die du bezüglich seines Datenverkehrs getroffen hast, und nicht auf Kapazitäten, die du als Reaktion auf eine nicht identifizierbare Auslastung hinzugefügt hast.
Hör auf, um ein Problem herum zu skalieren, das du kontrollieren kannst
Das Skalieren deiner Infrastruktur erhöht die Last, die dein Server bewältigen kann. Bot Protection reduziert die Last, die ihn überhaupt erst erreicht. Das sind keine gleichwertigen Lösungen für dasselbe Problem: Die eine fügt Kapazität hinzu, während die andere den Druck beseitigt, der mehr Kapazität überhaupt erst notwendig erscheinen ließ.
Mithilfe der Analysen von MyKinsta kannst du erkennen, wann automatisierter Traffic zu einem steigenden Ressourcenverbrauch beiträgt, selbst wenn der von Menschen erzeugte Traffic stabil bleibt. Von dort aus gibt dir der Bot-Schutz die Möglichkeit, unerwünschten Traffic zu klassifizieren, zu überprüfen und zu blockieren, bevor er WordPress, PHP oder die Datenbank erreicht.
Für Websites, die mit übermäßiger Crawler-Aktivität zu kämpfen haben, reduziert der Schalter „AI-Crawler blockieren“ zudem den KI-gesteuerten Datenverkehr, ohne herkömmliche Suchmaschinen-Crawler wie Googlebot oder Bingbot zu beeinträchtigen.
Wenn du mehr Kontrolle darüber haben möchtest, wie automatisierter Traffic deine Infrastruktur erreicht, bietet dir der Bot-Schutz von Kinsta die Übersicht und die Filtertools, um unnötige Belastung direkt über MyKinsta zu reduzieren.
Joel ist Frontend-Entwickler und arbeitet bei Kinsta als Technical Editor. Er ist ein leidenschaftlicher Lehrer mit einer Vorliebe für Open Source und hat über 200 technische Artikel geschrieben, die sich hauptsächlich um JavaScript und seine Frameworks drehen.
