Im Jahr 2025 machten Bots 53 % des gesamten Web-Traffics aus – zum ersten Mal hatte der automatisierte Traffic den von Menschen in einem Kalenderjahr überholt. Im Juni 2026 bezifferte Cloudflare Radar diesen Anteil auf 57,5 % – ein Wendepunkt, der laut Cloudflares eigenem CEO Jahre früher eintrat, als er es prognostiziert hatte.
Für die meisten WordPress-Betreiber ist davon nichts zu sehen. Ihre Dashboards sehen ganz normal aus. Die Besucherzahlen steigen. Doch ein wachsender Anteil dessen, was diese Zahlen antreibt, sind keine Kunden, Leser oder Interessenten, sondern KI-Crawler, die Inhalte scrapen, um ein Sprachmodell zu füttern – und das in einer Geschwindigkeit und einem Umfang, wie es Suchmaschinen-Bots noch nie getan haben.
Dieser Artikel erklärt, warum sich das auf WordPress-Websites anders auswirkt als herkömmliches Crawling und wie du es direkt in MyKinsta erkennen und darauf reagieren kannst.
Was ist ein KI-Crawler?
KI-Crawler sind automatisierte Bots, die öffentlich zugängliche Webseiten auslesen und deren Inhalte für den Einsatz in KI-Systemen sammeln. Oberflächlich betrachtet sieht das aus wie ein herkömmlicher Suchmaschinen-Crawler, aber das Motiv ist ein anderes.
Ein Such-Crawler wie Googlebot liest eine Seite, um sie zu indexieren und zu bewerten, damit Besucher dich finden können. Ein KI-Crawler hingegen liest dieselbe Seite, um sie in ein Sprach- oder Trainingsmodell einzuspeisen. Das geschieht auf verschiedene Arten:
- Trainings-Crawler (wie GPTBot und ClaudeBot) sammeln Text, um große Sprachmodelle zu trainieren.
- Abruf-Crawler rufen Seiten in Echtzeit ab, wenn jemand einem KI-Tool eine Frage stellt, für die aktuelle Informationen benötigt werden.
- Indizierungs-Crawler bauen eine eigene, suchmaschinenähnliche Datenbank des Anbieters auf, um dessen Abhängigkeit von Dritten zu verringern.
Der gemeinsame Nenner ist, dass dir dadurch kein Besucher zurückgeführt wird. Die Identifizierung macht die Sache unvorhersehbar. Manche KI-Crawler verwenden benannte User-Agents und bleiben innerhalb veröffentlichter IP-Bereiche. Andere leihen sich den User-Agent eines legitimen Browsers aus, wechseln die Quelladressen oder bieten gar keine verlässliche Identifizierung.
Kurz gesagt: Der Traffic ist sowohl schwerer zuzuordnen als auch stark im Wachstum: Laut Cloudflares „2025 Radar Year in Review“ machten KI-Crawler (außer Googlebot) durchschnittlich 4,2 % der HTML-Anfragen aus – eine Zahl, die zwischen 2,4 % im April und 6,4 % im Juni schwankte. Rechnet man Googlebot hinzu, der mittlerweile sowohl für die Suchindexierung als auch für das KI-Training crawlt, erreichte das gesamte KI-bezogene Crawling im Jahr 2025 rund 8,7 % der HTML-Anfragen.
Die Crawling-Regeln, die Suchmaschinen-Crawler etabliert haben
Um diese Veränderung zu verstehen, ist es hilfreich zu sehen, wie der alte „Vertrag“ eigentlich aussah. Das Crawling für Suchmaschinen basierte auf einer Reihe gemeinsamer Konventionen, anhand derer Webseitenbetreiber planen konnten. Das Robots Exclusion Protocol erschien 1994 und wurde 2022 als Internetstandard formalisiert. Darum herum entwickelten sich vier Verhaltensweisen, die es ermöglichten, eine Infrastruktur für traditionelle Crawler aufzubauen:
- Die Beachtung von
robots.txt. Ein Crawler las die Datei, erkannte, welche Pfade tabu waren, und hielt sich von ihnen fern. - Automatische Drosselung. Die gängigen Crawler verlangsamten ihre Geschwindigkeit, wenn ein Server überlastet war, sodass eine überlastete Website weniger statt mehr Anfragen erhielt.
- Eindeutige Identifizierung. Ein stabiler User-Agent ermöglichte es, einen Crawler zu verifizieren und zu entscheiden, wie man mit ihm umgeht.
- Arbeiten innerhalb eines „Crawl-Budgets“. Google definiert das Crawl-Budget einer Website als die Menge an URLs, die Googlebot crawlen kann und will. Dadurch wird verhindert, dass eine einzelne Website unbegrenzt gecrawlt wird.
Damit verbunden ist die „Crawl-Verzögerung“: die Zeit, die ein Crawler zwischen den Seitenanfragen wartet. Da es sich jedoch um eine inoffizielle Richtlinie handelt, hat Google sie nie unterstützt und aus dem formalisierten Standard herausgelassen. Stattdessen passt Googlebot seine Crawling-Rate dynamisch an, je nachdem, wie schnell dein Server antwortet. Man geht davon aus, dass ein Crawler die Situation einschätzt und sich selbst reguliert.
Diese Konventionen sind fest in die Funktionsweise von Hosting integriert. Zum Beispiel gibt es Caching-Ebenen, weil sich gut funktionierende Crawler die gleichen Seiten so vorhersehbar anfordern, dass sie aus dem Cache bereitgestellt werden können. Das gesamte Modell basiert auf der Annahme, dass Crawler sich fair verhalten.
Wo KI-Crawler diese Normen brechen
KI-Crawler halten sich in dreierlei Hinsicht nicht an die Regeln:
robots.txtwird als optional behandelt. Berichte von TollBit zeigen einen drastischen Anstieg der Anzahl von Bots, die die Anweisungen in der robots.txt ignorieren. Dieselben Berichte beschreiben, wie Cloudflare einen großen KI-Suchanbieter dabei erwischt hat, auf Inhalte von Websites zuzugreifen, die dies ausdrücklich untersagt hatten.- Es gibt keine Drosselung. Viele KI-Crawler-Implementierungen senden Anfragen mit einer konstant hohen Rate, egal wie dein Server reagiert. Ein Teil davon ist nicht einmal beabsichtigt, da manche einfach „einen Bot aus dem Stegreif programmieren … und ihn loslassen“, ohne jemals
robots.txtzu überprüfen. - Crawler bleiben in Schleifen stecken. Das ist ein kostspieliges Muster, das eher struktureller Natur als böswillig ist. Die meisten Crawler folgen jedem Link, den sie finden, und protokollieren jede eindeutige URL als separate Seite. KI-Crawler folgen einer Variante, die eine weitere hervorbringt, der sie wiederum folgen – ohne zu merken, dass sie sich im Kreis drehen.
Das Schlimme daran ist, dass der Großteil des KI-Crawlings eher dem Modelltraining dient als der Suche oder Nutzeranfragen, was bedeutet, dass dadurch kein Referral-Traffic auf deine Seite zurückgeleitet wird.
Warum das für deinen Server ein Leistungsproblem darstellt
Das Volumen ist hier nicht wirklich das Problem. Eine statische Seite, die aus dem Cache bereitgestellt wird, kostet dich zum Beispiel fast nichts, sodass tausend zwischengespeicherte Zugriffe kaum ins Gewicht fallen. Die Probleme fangen an, wenn der Traffic den Cache umgeht – und sich endlos wiederholende Crawler sind gut darin, solche Wege zu finden.
Auf einer WordPress-Website mit WooCommerce machen Such- oder Filteranfragen einen großen Anteil der Anfragen aus, die dynamische Endpunkte statt Seiten erreichen. Dabei handelt es sich typischerweise um Warenkorb-Aktionen, Varianten des Parameters ?add-to-cart=, gefilterte Produktseiten, Suchanfragen und AJAX-basierte Interaktionen, die über admin-ajax.php weitergeleitet werden. Nichts davon lässt sich so zwischenspeichern wie ein Blogbeitrag, daher zwingt jede Anfrage den Server zur Arbeit:
- PHP-Ausführung. Für die gesamte Dauer jeder Anfrage wird ein PHP-Thread reserviert. Bei anhaltender Bot-Last gehen die Threads aus, und echte Besucher warten in der Warteschlange hinter den Bots.
- Datenbankabfragen. Dynamische Seiten greifen bei jedem Laden auf die Datenbank zu, da es keine Cache-Ebene gibt, die die Abfrage abfangen könnte.
- Sitzungsverwaltung. Warenkorb- und Checkout-Seiten erstellen oder validieren bei jeder Anfrage eine Sitzung, was selbst bei Bots, die niemals etwas kaufen werden, zusätzlichen Aufwand verursacht.
Basierend auf den Infrastrukturdaten von Kinsta generierte ein einzelner Bot innerhalb von 24 Stunden 3,75 Millionen Anfragen an URLs unter add-to-cart. Das entspricht rund um die Uhr etwa einer Anfrage alle 23 Millisekunden. Die Symptome sehen aus wie Nutzungsanomalien, Bandbreitenüberschreitungen, erschöpfte PHP-Prozesse und langsamere Antwortzeiten für echte Nutzer. Daher sieht es eher nach normalem Crawling als nach einem Angriff aus, was leicht übersehen werden kann.
So erkennst du die Aktivität von KI-Crawlern in MyKinsta
Bevor du anfängst, Einstellungen zu ändern, musst du sicherstellen, dass Crawler die Ursache sind. MyKinsta bietet dir drei Ansichten, die (im Zusammenspiel) aus einer Vermutung eine Diagnose machen.
Geh zunächst in MyKinsta zu Websites > „Websitename“ > Bot-Schutz. Hier zeigt das Diagramm Anforderungsaufschlüsselung alle Anfragen, die in den letzten 24 Stunden an deine Website gestellt wurden, und wie Kinsta jede einzelne klassifiziert.
Die Kategorie „KI-Crawler mit übermäßiger Zugriffsrate“ filtert die Bots heraus, die ein so hohes Anfragevolumen erzeugen, dass die Leistung gefährdet ist. Wenn ein großer Teil des Diagramms in diesem Bereich liegt, handelt es sich eher um eine Crawler-Belastung als um einen echten Anstieg der Besucherzahlen.
Das Diagramm zu den Bot-Schutz-Ergebnissen zeigt dir, was mit dem Traffic passiert ist, indem es ihn in zugelassene, angefochtene oder blockierte Anfragen unterteilt. So kannst du sehen, wie viel automatisierter Traffic derzeit deine Website erreicht und wie viel bereits gefiltert wird, bevor er dort ankommt. Im direkten Vergleich helfen dir diese Diagramme zu verstehen, ob die Last bereits abgefangen wird oder direkt auf deinen Server gelangt.
Um den Traffic mit der Verlangsamung in Verbindung zu bringen, schau dir die Liste der Top-Client-IPs in den MyKinsta-Analysen an:
Hier siehst du die Adressen, von denen die meisten Anfragen gesendet werden, wobei jede IP mit einem Lookup-Dienst verlinkt ist, um ihre Herkunft zu überprüfen. Öffne schließlich den Reiter Performance und vergleiche die Spitzen bei den Antwortzeiten mit den Zeiträumen intensiven Crawlings. Wenn die Ressourcen-Spitzen und das Bot-Volumen gemeinsam ansteigen und abfallen, weißt du, dass der nächste Schritt darin besteht, den eingehenden Datentraffic zu kontrollieren.
So verwaltest du KI-Crawler mit dem Bot-Schutz von Kinsta
Sobald du die Quelle bestätigt hast, gibt dir der Bot-Schutz von Kinsta die Kontrolle über jede Kategorie des Datentraffics. Er ergänzt die Plattform-Sicherheitsmaßnahmen, die bereits eindeutig bösartigen Datentraffic herausfiltern, und ist in allen Tarifen enthalten.
Das Fenster Schutzstufe auf dem Bot-Schutz-Bildschirm in MyKinsta bietet vier Einstellungen zur Auswahl:
- Schädlichen Datentraffic blockieren ist die Standardeinstellung. Diese Funktion sorgt für DDoS-Abwehr und blockiert IP-Adressen sowie Endpunkte, die mit bekannten Angriffsquellen in Verbindung stehen.
- Automatisierungen blockieren fügt eine zusätzliche Ebene hinzu, die bestätigten automatisierten Datentraffic blockiert, während verifizierte Bots und echte Besucher durchgelassen werden.
- Bots herausfordern fügt einen Verifizierungsschritt für mutmaßliche Bots hinzu. Ein Besucher, der diesen Schritt besteht, wird zehn Tage lang auf demselben Browser und derselben IP-Adresse nicht erneut herausgefordert.
- Alle herausfordern ist die strengste Einstellung und lässt nur verifizierte Bots durch. Dies ist ein Tool für den kurzfristigen Einsatz während eines aktiven Zugriffsspitzen.
Ab der Einstellung Bots herausfordern oder höher wird jedes Tool, das sich programmgesteuert mit deiner Website verbindet und nicht im Verzeichnis der verifizierten Bots von Cloudflare aufgeführt ist, herausgefordert oder blockiert. Stelle daher sicher, dass deine geschäftskritischen Tools auf dieser Liste stehen, bevor du die Stufe erhöhst.
Kinsta legt eigene Regeln über die Liste der verifizierten Bots von Cloudflare. Das bedeutet, dass verifizierte KI-Bots, die ein hohes Anfragevolumen erzeugen, in die separate Kategorie AI-Crawler mit übermäßiger Zugriffsrate umgestuft werden.
Die Logik dahinter ist, einen Crawler anhand seines Verhaltens und nicht anhand seiner Anmeldedaten zu beurteilen. So wird ein verifizierter Bot, der deine Website übermäßig belastet, als das Problem behandelt, zu dem er geworden ist. Wenn du den Schutz auf Challenge-Bots oder höher einstellst, kannst du legitimen Diensten mit hohem Datenvolumen die Möglichkeit geben, sich zu beweisen, während Crawler, die in einer Schleife stecken, herausgefiltert werden.
Weitere Bot-Schutzfunktionen von MyKinsta
Der Schalter KI-Crawler blockieren ist eine vom Schutzlevel unabhängige Steuerung, die speziell auf KI-Crawler abzielt, einschließlich verifizierter wie GPTBot. Googlebot und Bingbot indexieren deine Website weiterhin wie gewohnt, sodass dadurch die Belastung durch KI-Crawler beseitigt wird, ohne deine Sichtbarkeit in Suchmaschinen zu beeinträchtigen.
Das ist eine übersichtlichere Option als die manuelle Bearbeitung von robots.txt oder die Pflege von Regeln pro Bot, aber du solltest die Vor- und Nachteile gut abwägen, bevor du diese Funktion aktivierst.
Das Blockieren von KI-Crawlern verringert, wie oft deine Inhalte in KI-generierten Antworten und Zusammenfassungen auftauchen, und da KI-Tools für manche Zielgruppen zu einem immer wichtigeren Entdeckungskanal werden, hat ein vollständiger Verzicht Auswirkungen, die über die Serverauslastung hinausgehen.
Für leistungsorientierte Websites wie WooCommerce-Shops, stark frequentierte Content-Websites und Mitgliederplattformen sind die Ressourcenkosten durch KI-Crawling hoch und der Nutzen gering – daher kann das Blockieren die bessere Entscheidung sein, wenn du Probleme feststellst. Bei Websites, bei denen der Inhalt im Vordergrund steht und die Sichtbarkeit durch KI eine strategische Priorität ist, filterst du mit den Einstellungen Automatisierungen blockieren oder Bots herausfordern das schlimmste Verhalten heraus, während deine Inhalte für KI-Plattformen weiterhin indexierbar bleiben.
Es gibt keine allgemeingültige richtige Antwort. Der Schalter ist da, um dir die Wahl zu lassen.
Ein strengerer Schutz kann den automatisierten Traffic blockieren, auf den du angewiesen bist – daher sorgen zwei Einstellungen dafür, dass er weiterfließt. Im Bereich Immer zulassen kannst du bis zu 50 Ausnahmen nach IP-Adresse, Pfad oder User-Agent hinzufügen. Hier listest du die Dinge auf, die niemals überprüft werden sollten, wie zum Beispiel einen Überwachungsdienst, einen Zahlungs-Webhook oder eine vertrauenswürdige IP-Adresse aus dem Büro oder von einem Kunden.
Die Option Typische WordPress-Automatisierungen zulassen aktiviert eine verwaltete „Whitelist“ mit gängigen WordPress-Endpunkten und -Diensten, einschließlich der REST-API und Hintergrundaufgaben. Du aktivierst sie parallel zu strengeren Schutzmaßnahmen, wenn deine Website auf Plugins, Integrationen oder geplante Aufgaben angewiesen ist, die automatisierte Anfragen stellen, damit eine Verstärkung deiner Abwehrmaßnahmen nicht unbemerkt einen Arbeitsablauf unterbricht.
Die neuen Regeln des Web-Crawlings erfordern eine genauere Verwaltung deinerseits
Während sich das Verhalten im Internet geändert hat, hat sich dein Hosting wahrscheinlich nicht geändert. KI-Crawler reagieren nicht auf dieselben Regeln, die Suchmaschinen über zwei Jahrzehnte hinweg entwickelt haben.robots.txt ist optional, und das Crawling findet mit einer konstant hohen Rate statt. Außerdem bekommst du nichts als Gegenleistung für die verbrauchten Ressourcen. Das führt zu einem Leistungs- und Kostenproblem, das eher wie eine überlastete Website aussieht als nach Crawler-Aktivität.
Die Lösung ist ein kurzer Schritt, den du selbst steuern kannst. Überprüfe zunächst die Ursache in den Analysen von MyKinsta. Als Nächstes stellst du in MyKinsta die richtige Schutzstufe ein und aktivierst KI-Crawler blockieren, um die Last durch KI-Crawler zu verringern, ohne an Sichtbarkeit in den Suchmaschinen einzubüßen. Schütze dann das, worauf du dich verlässt, mit Immer zulassen, damit strengere Einstellungen keine vertrauenswürdige Integration beeinträchtigen. Jede Änderung wird ohne Ausfallzeiten wirksam, sodass du Anpassungen vornehmen kannst, sobald sich die Muster ändern.
Wenn du viele Kunden-Websites verwaltest, bietet das Agency-Partner-Programm von Kinsta diese Kontrollmöglichkeiten zusammen mit dediziertem Support. Entdecke das Managed-WordPress-Hosting von Kinsta, um diese Kontrolle effektiv zu nutzen.
Joel ist Frontend-Entwickler und arbeitet bei Kinsta als Technical Editor. Er ist ein leidenschaftlicher Lehrer mit einer Vorliebe für Open Source und hat über 200 technische Artikel geschrieben, die sich hauptsächlich um JavaScript und seine Frameworks drehen.
