Die Realität
hinter KI- und Bot-Traffic
Was 10 Milliarden Anfragen, ausgefallene Crawler und die WordPress-Infrastruktur über die neue Realität des Bot-Traffics verraten.
Zu einem Abschnitt springen
Deine Analytics-Daten lügen dich an: Ein erheblicher Teil des „Traffics“ auf deiner Website stammt nicht von Menschen.
Die meisten Ratschläge da draußen haben nicht viel geholfen. Man sagt dir, du sollst entweder alles blockieren oder alles durchlassen, weil KI die Zukunft ist. Keine der beiden Herangehensweisen hilft dir dabei, eine WordPress-Seite tatsächlich zu verwalten.
Im letzten Jahr ist Bot-Traffic weit mehr geworden als nur ein Thema für Sicherheit oder SEO. Heute ist es ein Infrastrukturproblem. Crawler greifen dynamische Endpunkte an, geraten in Schleifen bei Abfrage-Strings, umgehen den Cache und erzeugen Traffic-Muster, die weniger nach normaler Indizierung aussehen, sondern eher nach fehlerhafter Automatisierung in großem Maßstab.
Einige wichtige Erkenntnisse
Um zu verstehen, was sich geändert hat, haben wir Branchenstudien ausgewertet, mit Ingenieuren und Praktikern gesprochen und mehr als 10 Milliarden Anfragen in der von Kinsta verwalteten Infrastruktur analysiert. Das Ergebnis war nicht, dass man alles blockieren oder alles zulassen sollte, sondern dass besseres Urteilsvermögen gefragt ist.
Einblicke von
unseren Mitwirkenden
“Aus infrastruktureller Sicht gibt es so etwas wie „nur Bot-Traffic“ nicht. Jede Anfrage bedeutet echte Arbeit. Bei großem Umfang ist ineffizientes Crawling kein Traffic-Problem mehr, sondern wird zu einem Ressourcenproblem.”
“Das meiste, was wir hier sehen, ist nicht böswillig. Es sind Bots, die sich in großem Maßstab ineffizient verhalten, und genau da fangen die wirklichen Probleme erst an.”
“Es ist ein Irrglaube, dass es bei Bot-Traffic lediglich um die Frage „blockieren oder zulassen“ geht. In Wirklichkeit geht es um Richtlinien, Transparenz und wirtschaftliche Kontrolle.”
Mehr Bots sind nicht das Problem.
Was sich geändert hat, ist wie sie sich verhalten.
Jahrelang drehte sich die Diskussion über Bot-Traffic hauptsächlich um das Volumen.
Die Teams haben ermittelt, wie viel automatisiert ablief, die offensichtlichen böswilligen Akteure herausgefiltert und sind dann weitergegangen. Dieser Ansatz funktionierte, solange sich die meisten Bots vorhersehbar verhielten, indem sie Seiten crawelten, Inhalte indexierten und dann wieder verschwanden.
Dieses Modell gilt nicht mehr. In den letzten zwei Jahren haben Bots das Internet überschwemmt, die nicht nur dazu dienen, Inhalte für Suchergebnisse zu indexieren, sondern diese auch in großem Umfang für das Modelltraining, die retrieval-augmented generation und benutzergesteuerte Abfragen zu erfassen. Diese Crawler sind hungriger, schneller und im Grunde genommen weniger brav als alles, was es bisher gab.
Bis Ende 2025 machten KI-Crawler 4,2 % der HTML-Anfragen im Cloudflare-Netzwerk aus, und zusammen mit dem Datentraffic von Crawlern wie Googlebot stieg dieser Anteil auf 8,5 %. Gleichzeitig stellten die Teams, die Websites betreiben und verwalten, Muster wie wiederholte Anfragen, Endlosschleifen und massive Zugriffe auf Endpunkte mit geringem Wert fest, die überhaupt nicht wie herkömmliches Crawling aussahen.
Diese 4,2 % sind ein Jahresdurchschnitt. Der tatsächliche Wert schwankte zwischen 2,4 % Anfang April und 6,4 % Ende Juni (eine fast dreifache Spanne innerhalb eines einzigen Jahres). Allein GPTBot verzeichnete zwischen Mai 2024 und Mai 2025 ein Wachstum von 305 %. Von allen Crawling-Aktivitäten der KI dienen 80 % ausschließlich dem Modelltraining (nicht der Suche oder Nutzeranfragen). Sie generieren keinen Referral-Traffic zurück auf deine Website.
Cloudflare Radar: Jahresrückblick 2025
Googlebot allein macht etwa 4,5 % des HTML-Traffics aus – das ist mehr als alle Nicht-Google-KI-Bots zusammen. Er hat 11,6 % der einzelnen Webseiten gecrawlt, verglichen mit 3,6 % bei GPTBot, und erreichte Ende April einen Spitzenwert von 11 % aller HTML-Anfragen. Ihn zu blockieren, um die Serverlast zu verringern, wäre der kontraproduktivste Schritt, den ein Website-Betreiber unternehmen könnte.
Cloudflare Radar: Jahresrückblick 2025
Das große Ganze
Die meisten Bots greifen nicht an.
Sie sind einfach nur festgefahren.
Die meisten KI-Crawler sind so konzipiert, dass sie jedem gefundenen Link folgen und jede einzelne Seitenadresse erfassen. Bei einfachen Websites funktioniert das gut. Moderne Websites, insbesondere E-Commerce-Shops, generieren jedoch leicht unterschiedliche URLs für im Grunde dieselbe Seite.
Das Team beobachtete beispielsweise, dass der „meta-externalagent“ (ein Crawler von Facebook/Meta AI) wiederholt verschiedene Varianten von Abfrageparametern auf mehreren Websites durchlief. Für einen Menschen sehen ein Produktlink mit Farbfilter, ein Warenkorb-Link mit einer Stückzahl oder eine Kalenderseite mit einer Sortierreihenfolge alle wie dieselbe Seite aus. Für einen Bot, der URLs abarbeitet, sieht jede davon jedoch wie eine völlig neue Seite aus.
Also folgt der Bot dem ersten Link… diese Seite generiert eine weitere Variante, der der Bot folgt. Und noch eine. Und noch eine… Er hat keine Möglichkeit zu erkennen, dass er sich im Kreis dreht, und einige dieser Schleifen liefen tagelang unentdeckt, bevor sie von den Infrastrukturregeln abgefangen wurden.
Solches Verhalten geht nicht immer auf hochentwickelte Systeme zurück.
Wie David Belson von Cloudflare betont, arbeiten nicht alle Bots mit derselben Disziplin: „Da gibt es den Typen, der gestern noch keine Ahnung hatte, was er da eigentlich tat, aber heute einfach aus einer Laune heraus einen Bot programmiert und losgeschickt hat – der macht sich nicht mal die Mühe, die robots.txt zu checken.“
7,67 Millionen Anfragen gingen innerhalb von 24 Stunden bei den „In den Warenkorb“-URLs ein
Sogar Googles Crawler, den man absolut nicht blockieren kann, ist in dieselbe Falle getappt.
Um die Zahlen ins rechte Licht zu rücken: 3,75 Millionen Anfragen in 24 Stunden entsprechen etwa einer Anfrage alle 23 Millisekunden – Tag und Nacht –, wobei jede einzelne vom Server als neue Anfrage behandelt wird und nicht als etwas, das zwischengespeichert werden kann.
Im großen Maßstab ist dieses Verhalten nicht immer beabsichtigt.
„Man kann nicht einfach beten und auf das Beste hoffen… man muss sich wie ein verantwortungsbewusster Endnutzer verhalten“, erklärt Belson. „Man darf eine Website nicht mit Anfragen überhäufen.“
Dein Server weiß nicht, dass er
mit einem Bot spricht
Das Verhalten an sich ist nicht das Problem. Wenn jede Anfrage kostengünstig wäre, würden Schleifen und wiederholte Aufrufe keine große Rolle spielen.
Auf einer einfachen statischen Seite können die meisten Anfragen aus dem Cache bedient werden. Der Server gibt eine zwischengespeicherte Version der Seite zurück, und die Kosten pro Anfrage bleiben gering.
Dieses Modell versagt schnell auf echten WordPress-Seiten, vor allem auf solchen, die WooCommerce nutzen oder über Such- und Filterfunktionen sowie viele Plugins verfügen.
Ein großer Teil des Datentraffics landet gar nicht erst auf statischen Seiten. Er geht stattdessen an Endpunkte wie:
Diese lassen sich nicht auf dieselbe Weise zwischenspeichern. Der Server muss jedes Mal echte Arbeit leisten.
Jede Anfrage löst Folgendes aus
Ein PHP-Thread (früher PHP-Worker genannt) wird für die gesamte Dauer jeder Anfrage reserviert. Bei anhaltender Bot-Auslastung sind die Threads ausgelastet, und legitime Besucher müssen warten.
Dynamische Seiten fragen bei jedem Laden deine Datenbank ab. Keine Cache-Ebene kann das in großem Maßstab bewältigen.
Warenkorb- und Checkout-Seiten erstellen oder validieren Sitzungen, was selbst bei Bots, die nie zu einer Conversion führen, zusätzlichen Aufwand verursacht.
Die SEO-Kosten
Ist das ein Angriff? Normale Bot-Aktivität? Oder etwas dazwischen? Genau diese Unklarheit macht es so schwer, Abhilfe zu schaffen. Da dieselben Muster sowohl die Leistung als auch die Auffindbarkeit beeinträchtigen, hängt die richtige Reaktion davon ab, was du schützen möchtest.
Wähle aus, worauf du
optimieren möchtest
Wenn man sieht, wie sich Bots verhalten und welche Auswirkungen sie haben können, ist die natürliche Reaktion: Blockiere sie. Aber Bots wahllos zu blockieren ist nicht die Lösung, genauso wenig wie die Tür weit offen zu lassen.
Wie Belson es ausdrückt: „Du musst den ersten Schritt machen und einen Türsteher vor die Tür stellen, der entscheidet, wer reinkommt und wer nicht.“
Nicht alle Bots sind schädlich, und nicht jeder Traffic sollte gleich behandelt werden. Manche Bots verbessern die Auffindbarkeit, manche verbrauchen Ressourcen, ohne einen Mehrwert zu schaffen, und wieder andere liegen irgendwo dazwischen.
Selbst auf Netzwerkebene geht es nicht darum, Bots komplett zu eliminieren. „Ich bin niemand, der anderen raten würde, alle Bots zu blockieren“, sagt Belson. „Ein Teil dieses Datentraffics hat einen echten Wert.“
Die Herausforderung besteht jetzt nicht darin, zu entscheiden, ob Bots gut oder schlecht sind. Es geht darum, zu verstehen, wie sich verschiedene Entscheidungen auf deine Website auswirken und inwieweit du bereit bist, die jeweiligen Kompromisse in Kauf zu nehmen.
Cristian Lopez, Chefredakteur bei HostingAdvice, drückt es so aus: „Das Missverständnis besteht darin, zu glauben, es gehe lediglich um ‚Blockieren oder Zulassen‘. In Wirklichkeit geht es heute um Richtlinien, Transparenz und wirtschaftliche Kontrolle.“
Auffindbarkeit und Leistung
Suchmaschinen-Crawler sind unverzichtbar, damit Nutzer deine Website finden können, aber sie arbeiten nicht immer effizient, was einen Spagat erfordert. Wenn du sie zu stark einschränkst, kann das deine Sichtbarkeit in den Suchergebnissen beeinträchtigen, während ein uneingeschränkter Zugriff unnötige Belastungen verursachen kann – vor allem, wenn sie auf dynamische Seiten zugreifen, die tatsächlich verarbeitet werden müssen, anstatt aus dem Cache bereitgestellt zu werden.
Das Ziel ist nicht, sich für das eine oder das andere zu entscheiden, sondern zu steuern, wie viel von beidem du zulässt – je nachdem, wie sich deine Website tatsächlich verhält.
Zugangskosten und Ressourcenkosten
Manche Bots bieten einen indirekten Nutzen – KI-Systeme, die auf deine Inhalte verweisen, Tools, die deine Seiten indexieren, oder Dienste, die Daten aus dem gesamten Web zusammenführen –, aber jede Anfrage ist mit Kosten verbunden, was CPU-Auslastung, Datenbankabfragen, Speicherplatz und Bandbreite angeht. Wenn diese Aktivitäten zunehmen, bleiben diese Kosten nicht marginal; sie summieren sich und beginnen, spürbare Auswirkungen zu haben.
Nicht jeder Zugriff muss uneingeschränkt sein. Der Nutzen, den ein Bot bietet, sollte gegen die damit verbundenen Kosten abgewogen werden.
Kontrolle und Einfachheit
In einfachen Fällen kann die Automatisierung das Bot-Management effektiv übernehmen, doch der richtige Ansatz hängt letztendlich davon ab, welche Art von Website du betreibst, welche Art von Traffic du verzeichnest und was für deine Ziele am wichtigsten ist. Sich vollständig auf die Automatisierung zu verlassen, kann die Dinge vereinfachen, bedeutet aber auch, dass du keinen Einfluss darauf hast, wie diese Entscheidungen für deine spezifische Website getroffen werden.
Die besten Systeme zwingen dich nicht dazu, dich zwischen Benutzerfreundlichkeit und Kontrolle zu entscheiden. Sie ermöglichen es dir, einfach anzufangen und dort Anpassungen vorzunehmen, wo es darauf ankommt.
Diese Überschneidung sorgt für Verwirrung. Es kommt zu Traffic-Spitzen und Leistungseinbußen, und es ist nicht immer klar, ob man etwas blockieren, zulassen oder ignorieren soll – selbst wenn es sich um dasselbe Muster auf zwei verschiedenen Websites handelt.
„Soll ich Bots zulassen?“
„Welche Bots, auf welchen Teilen meiner Website, unter welchen Bedingungen?“
Um diese Frage zu beantworten, muss man anders denken. Darauf gehen wir im nächsten Abschnitt ein.
Eine bessere Möglichkeit, um zu entscheiden, was
zugelassen, angefochten oder blockiert werden soll
Es gibt keine allgemeingültige Bot-Richtlinie, die für jede Website funktioniert. Ein WooCommerce-Shop, eine Content-Website, eine Unternehmenswebsite und eine Staging-Umgebung sind nicht denselben Risiken ausgesetzt und erfordern daher auch nicht dieselben Lösungen.
Der richtige Ansatz hängt davon ab, was deine Website macht, welche Art von Traffic sie erhält und worauf du sie optimieren möchtest. In den meisten Fällen wird diese Entscheidungsebene durch Infrastruktur-Tools geregelt und nicht manuell für jede einzelne Anfrage konfiguriert, aber wenn du die Logik verstehst, weißt du besser, was in deinem Namen läuft und wann es sinnvoll ist, Anpassungen vorzunehmen.
Hier kommt es nicht nur auf die Besucherzahlen an, sondern auch darauf, welche Art von Sichtbarkeit du anstrebst – sei es in Suchrankings, bei KI-Zitaten oder durch direkte Besuche von Nutzern.
Deine Performance-Probleme werden wahrscheinlich durch Bots verursacht, die auf die Endpunkte „In den Warenkorb“ und „Zur Kasse“ von WooCommerce zugreifen. Diese umgehen den Seitencache vollständig und erzwingen bei jeder einzelnen Anfrage die Ausführung von PHP-Code sowie Datenbankabfragen. Die Lösung besteht nicht darin, alles zu blockieren. Das Ziel ist es, bestimmte ressourcenintensive Pfade zu schützen.
/cart, /checkout und ?add-to-cart= über robots.txt blockieren/shop?add-to-cart= und /checkout./shop, /product/ und die Kategorieseiten crawlen, damit dein Shop in den Suchergebnissen erscheint. Schränke den Zugriff nur auf bestimmte dynamische Endpunkte ein, nicht auf die gesamte Website.Die oben genannten Konfigurationen zeigen, wie die manuelle Verwaltung von Bot-Traffic aussieht. In der Praxis übernimmt der Bot-Schutz von Kinsta den Großteil dieser Muster automatisch. Aktiviere einmalig die gewünschte Schutzstufe, und unser System kümmert sich um den Rest (es sind keine Regeln pro Pfad oder manuelle Ausnahmen erforderlich).
Die meisten Systeme wurden nicht
für dieses Maß an Kontrolle entwickelt
Die meisten Plattformen verwalten den Bot-Traffic entweder automatisch, indem sie hinter den Kulissen Entscheidungen treffen, oder sie stellen Steuerungsmöglichkeiten zur Verfügung, die manuell konfiguriert werden müssen.
Automatische Systeme erkennen offensichtliche Bedrohungen und lassen bekannte Crawler zu, berücksichtigen jedoch nicht, wie sich der Datenverkehr auf bestimmten Bereichen deiner Website verhält oder welche Auswirkungen dies im jeweiligen Kontext hat. In manchen Fällen werden legitime KI-Crawler am Rand des Netzwerks blockiert, was zu einer Erkennungslücke führt, von der die meisten Teams gar nichts mitbekommen.
Manuelle Einstellungen bieten mehr Flexibilität. Allerdings erfordern sie oft ein Maß an Präzision, für das die meisten Website-Betreiber nicht die Zeit haben, sich ständig darum zu kümmern. Und ohne Anleitung lassen sie sich leicht falsch konfigurieren.
Was fehlt, ist nicht nur Kontrolle, sondern nutzbare Kontrolle.
Die Möglichkeit, das Verhalten dort anzupassen, wo es darauf ankommt, ohne den wesentlichen Datenverkehr zu beeinträchtigen und ohne jedes Mal, wenn sich etwas ändert, deinen gesamten Ansatz von Grund auf neu aufbauen zu müssen.
Die meisten Websites benötigen keine vollständige Automatisierung oder vollständige Kontrolle. Sie brauchen die Möglichkeit, gezielte Entscheidungen zu treffen, ohne jedes Mal ihre gesamte Traffic-Strategie neu aufstellen zu müssen, wenn sich die Muster ändern.
Die Herausforderung besteht mittlerweile nicht mehr darin, Bot-Traffic zu erkennen. Es geht vielmehr darum, ihn so zu handhaben, dass er der tatsächlichen Funktionsweise deiner Website entspricht.
Wie die richtige Reaktion
in verschiedenen Situationen aussieht
Mittlerweile ist klar, dass es keine allgemeingültige Regel gibt, die immer funktioniert. Die richtige Vorgehensweise hängt davon ab, welche Art von Website du betreibst, welche Art von Traffic du hast und wie dringend die Situation ist.
Was jetzt folgt, ist keine Checkliste. Es ist eine Möglichkeit, dir Gedanken darüber zu machen, was als Nächstes zu tun ist, ausgehend von deiner aktuellen Situation.
Fang mit der Übersicht an, dann triff eine gezielte Entscheidung
Bevor du Änderungen vornimmst, schau dir an, woraus dein Traffic tatsächlich besteht. Es geht nicht darum, jeden einzelnen Bot zu identifizieren. Du suchst nach Mustern: wiederholte Anfragen an dieselben Arten von URLs, insbesondere solche, die für einen Crawler eigentlich irrelevant sein sollten, wie Warenkorb-Endpunkte oder Seiten mit vielen Parametern. Die meisten Analysetools oder Serverprotokolle bieten dir genügend Einblick, um diese Aktivitäten zu erkennen.
Die meisten Plattformen filtern bereits die offensichtlichsten Anomalien heraus, wie zum Beispiel offensichtliche Endlosschleifen oder bekannter missbräuchlicher Traffic. Stell sicher, dass diese grundlegenden Schutzmaßnahmen aktiv sind, und gib ihnen Zeit, ihre Arbeit zu tun. Sie sind in der Regel von Natur aus konservativ ausgelegt, was bedeutet, dass sie Störsignale reduzieren, ohne legitime Besucher oder Such-Crawler zu beeinträchtigen.
Sobald du ein Muster erkennst, reagiere darauf (aber nicht auf alles auf einmal). Wenn Bots wiederholt dynamische Endpunkte aufrufen, schränke den Zugriff auf diese Pfade ein. Wenn bestimmte Crawler Inhalte aggressiv abgreifen, überlege dir, ob dieser Zugriff die Kosten wert ist. Das Ziel in dieser Phase ist nicht Perfektion, sondern die Reduzierung unnötiger Belastung, ohne neue Probleme zu verursachen.
Wende diesen Prozess auf einige verschiedene Kundenwebsites an. Die Muster, die du auf einer E-Commerce-Website, einer Content-Website und einer Dienstleistungs-Website siehst, werden sich zwar unterscheiden, sind aber konsistent genug, um einen wiederholbaren Ansatz für Kundengespräche zu entwickeln.
Bot-Traffic wird nicht verschwinden.
Deine Strategie sollte
Mittlerweile ist das Muster klar erkennbar. Bot-Traffic ist nicht mehr etwas, das man als gelegentliches Störsignal abtun oder am Rande herausfiltern kann. Er ist ein fester, sich ständig weiterentwickelnder Bestandteil der Art und Weise, wie Websites aufgerufen und belastet werden.
Was es schwierig macht, ist nicht nur das Volumen, sondern auch die Überschneidungen. Dieselben Systeme, die den Nutzern helfen, deine Website zu finden, können auch deren Ressourcen beanspruchen, und Muster, die wie normales Crawling aussehen, können sich im großen Maßstab wie ineffiziente Automatisierung verhalten.
Es gibt also keine Regel, die überall gilt.
Der richtige Ansatz hängt von deiner Website, deinem Traffic und dem ab, was du schützen möchtest. Dazu musst du verstehen, wie sich deine Website tatsächlich verhält, und Entscheidungen treffen, die dieser Realität Rechnung tragen.
Eine solche Entwicklung ist in der Geschichte des Internets nicht ganz neu. Jordan Sprogis, Experte bei HostingAdvice, drückt es so aus: „Es ist nicht viel anders als bei SSL, das lange Zeit ein kostenpflichtiges Zusatzmodul war… heute sind SSL-Zertifikate in fast jedem Hosting-Paket enthalten.“
Meistens geht es darum, unnötige Belastung zu reduzieren, die Übersicht dort zu bewahren, wo es darauf ankommt, und ein System zu pflegen, auf das du dich verlassen kannst, auch wenn sich die Dinge ändern. Was als Nächstes kommt, lässt sich schwerer einordnen. Agententraffic – automatisierte Tools, die entwickelt wurden, um Aktionen auszuführen – taucht bereits in Infrastrukturdaten auf. Google hat kürzlich einen speziellen User-Agent angekündigt, der protokolliert, wann seine KI-Agenten mit Websites interagieren. Die verantwortungsbewussten Plattformen werden sich selbst identifizieren, Crawling-Verzögerungen respektieren und vermeiden, Endpunkte zu überlasten, die keinen Zweck erfüllen. Andere werden das nicht tun. Die Grenze zwischen einem menschlichen Besucher und einem Agenten wird weiterhin verschwimmen.
Und wenn automatisierter Traffic deine Besucherzahlen in die Höhe treibt, spiegeln die reinen Zahlen nicht mehr die Realität wider. Die entscheidenden Signale sind die miteinander verknüpften: das Suchvolumen nach deiner Marke, der Direkt-Traffic, die Qualität der Interaktion und der Umsatz, der mit dem tatsächlichen Besucherverhalten zusammenhängt. Wenn sich auch diese Kennzahlen positiv entwickeln, weißt du, dass du dort sichtbar bist, wo es darauf ankommt.
Steuere, wie Bots mit deiner WordPress-Seite interagieren, ohne die Sichtbarkeit in Suchmaschinen zu beeinträchtigen
Der Bot-Schutz von Kinsta bietet dir Kontrolle auf Umgebungsebene mit sinnvollen Standardeinstellungen, sodass du steuern kannst, wie verschiedene Arten von Datenverkehr mit deiner Website interagieren, ohne Suchmaschinen zu blockieren oder die Auffindbarkeit zu beeinträchtigen.
Dieser Bericht wurde dir von Kinsta präsentiert.
Kinsta ist eine Premium-Plattform für Managed WordPress-Hosting mit mehr als 230.000 Kunden weltweit. Platz 1 bei G2 in Sachen Kundenzufriedenheit. Kompetenter Support rund um die Uhr in 10 Sprachen.
Das sollte sich wohl jemand aus deinem Team ansehen.
Managed Hosting für WordPress