{"id":77085,"date":"2026-08-10T08:28:33","date_gmt":"2026-08-10T07:28:33","guid":{"rendered":"https:\/\/kinsta.com\/de\/?p=77085&#038;preview=true&#038;preview_id=77085"},"modified":"2026-08-14T13:38:03","modified_gmt":"2026-08-14T12:38:03","slug":"ki-crawler-regeln-web-crawling","status":"publish","type":"post","link":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/","title":{"rendered":"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen"},"content":{"rendered":"<p>Im Jahr 2025 machten Bots 53 % des gesamten Web-Traffics aus \u2013 zum ersten Mal hatte der automatisierte Traffic den von Menschen in einem Kalenderjahr \u00fcberholt. Im Juni 2026 bezifferte <a href=\"https:\/\/radar.cloudflare.com\/\" target=\"_blank\" rel=\"noopener noreferrer\">Cloudflare Radar<\/a> diesen Anteil auf 57,5 % \u2013 ein Wendepunkt, der laut Cloudflares eigenem CEO Jahre fr\u00fcher eintrat, als er es prognostiziert hatte.<\/p>\n<p>F\u00fcr die meisten WordPress-Betreiber ist davon nichts zu sehen. Ihre Dashboards sehen ganz normal aus. Die Besucherzahlen steigen. Doch ein wachsender Anteil dessen, was diese Zahlen antreibt, sind keine Kunden, Leser oder Interessenten, sondern <a href=\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-wordpress\/\">KI-Crawler<\/a>, die Inhalte scrapen, um ein Sprachmodell zu f\u00fcttern \u2013 und das in einer Geschwindigkeit und einem Umfang, wie es Suchmaschinen-Bots noch nie getan haben.<\/p>\n<p>Dieser Artikel erkl\u00e4rt, warum sich das auf WordPress-Websites anders auswirkt als herk\u00f6mmliches Crawling und wie du es direkt in MyKinsta erkennen und darauf reagieren kannst.<\/p>\n<div><\/div><kinsta-auto-toc heading=\"Table of Contents\" list-style=\"arrow\" selector=\"h2\" count-number=\"-1\"><\/kinsta-auto-toc>\n<h2>Was ist ein KI-Crawler?<\/h2>\n<p>KI-Crawler sind automatisierte Bots, die \u00f6ffentlich zug\u00e4ngliche Webseiten auslesen und deren Inhalte f\u00fcr den Einsatz in KI-Systemen sammeln. Oberfl\u00e4chlich betrachtet sieht das aus wie ein <a href=\"https:\/\/kinsta.com\/de\/blog\/crawler-liste\/\">herk\u00f6mmlicher Suchmaschinen-Crawler<\/a>, aber das Motiv ist ein anderes.<\/p>\n<p>Ein Such-Crawler wie Googlebot liest eine Seite, um sie zu indexieren und zu bewerten, damit Besucher dich finden k\u00f6nnen. Ein KI-Crawler hingegen liest dieselbe Seite, um sie in ein Sprach- oder Trainingsmodell einzuspeisen. Das geschieht auf verschiedene Arten:<\/p>\n<ul>\n<li><strong>Trainings-Crawler<\/strong> (wie GPTBot und ClaudeBot) sammeln Text, um gro\u00dfe Sprachmodelle zu trainieren.<\/li>\n<li><strong>Abruf-Crawler<\/strong> rufen Seiten in Echtzeit ab, wenn jemand einem KI-Tool eine Frage stellt, f\u00fcr die aktuelle Informationen ben\u00f6tigt werden.<\/li>\n<li><strong>Indizierungs-Crawler<\/strong> bauen eine eigene, suchmaschinen\u00e4hnliche Datenbank des Anbieters auf, um dessen Abh\u00e4ngigkeit von Dritten zu verringern.<\/li>\n<\/ul>\n<p>Der gemeinsame Nenner ist, dass dir dadurch kein Besucher zur\u00fcckgef\u00fchrt wird. Die Identifizierung macht die Sache unvorhersehbar. Manche KI-Crawler verwenden benannte User-Agents und bleiben innerhalb ver\u00f6ffentlichter IP-Bereiche. Andere leihen sich den User-Agent eines legitimen Browsers aus, wechseln die Quelladressen oder bieten gar keine verl\u00e4ssliche Identifizierung.<\/p>\n<p>Kurz gesagt: Der Traffic ist sowohl schwerer zuzuordnen als auch stark im Wachstum: Laut Cloudflares <a href=\"https:\/\/blog.cloudflare.com\/radar-2025-year-in-review\/\" target=\"_blank\" rel=\"noopener noreferrer\">\u201e2025 Radar Year in Review\u201c<\/a> machten KI-Crawler (au\u00dfer Googlebot) durchschnittlich 4,2 % der HTML-Anfragen aus \u2013 eine Zahl, die zwischen 2,4 % im April und 6,4 % im Juni schwankte. Rechnet man Googlebot hinzu, der mittlerweile sowohl f\u00fcr die Suchindexierung als auch f\u00fcr das KI-Training crawlt, erreichte das gesamte KI-bezogene Crawling im Jahr 2025 rund 8,7 % der HTML-Anfragen.<\/p>\n<h2>Die Crawling-Regeln, die Suchmaschinen-Crawler etabliert haben<\/h2>\n<p>Um diese Ver\u00e4nderung zu verstehen, ist es hilfreich zu sehen, wie der alte \u201eVertrag\u201c eigentlich aussah. Das Crawling f\u00fcr Suchmaschinen basierte auf einer Reihe gemeinsamer Konventionen, anhand derer Webseitenbetreiber planen konnten. Das <a href=\"https:\/\/kinsta.com\/de\/blog\/wordpress-robots-txt\/\">Robots Exclusion Protocol<\/a> erschien 1994 und wurde 2022 als Internetstandard formalisiert. Darum herum entwickelten sich vier Verhaltensweisen, die es erm\u00f6glichten, eine Infrastruktur f\u00fcr traditionelle Crawler aufzubauen:<\/p>\n<ul>\n<li><strong>Die Beachtung von <\/strong><code>robots.txt<\/code><strong>.<\/strong> Ein Crawler las die Datei, erkannte, welche Pfade tabu waren, und hielt sich von ihnen fern.<\/li>\n<li><strong>Automatische Drosselung.<\/strong> Die g\u00e4ngigen Crawler verlangsamten ihre Geschwindigkeit, wenn ein Server \u00fcberlastet war, sodass eine \u00fcberlastete Website weniger statt mehr Anfragen erhielt.<\/li>\n<li><strong>Eindeutige Identifizierung.<\/strong> Ein stabiler User-Agent erm\u00f6glichte es, einen Crawler zu verifizieren und zu entscheiden, wie man mit ihm umgeht.<\/li>\n<li><strong>Arbeiten innerhalb eines \u201eCrawl-Budgets\u201c.<\/strong> Google <a href=\"https:\/\/developers.google.com\/search\/docs\/crawling-indexing\/large-site-managing-crawl-budget\" target=\"_blank\" rel=\"noopener noreferrer\">definiert das Crawl-Budget einer Website<\/a> als die Menge an URLs, die Googlebot crawlen kann und will. Dadurch wird verhindert, dass eine einzelne Website unbegrenzt gecrawlt wird.<\/li>\n<\/ul>\n<p>Damit verbunden ist die \u201eCrawl-Verz\u00f6gerung\u201c: die Zeit, die ein Crawler zwischen den Seitenanfragen wartet. Da es sich jedoch um eine inoffizielle Richtlinie handelt, hat Google sie nie unterst\u00fctzt und aus dem formalisierten Standard herausgelassen. Stattdessen passt Googlebot seine Crawling-Rate dynamisch an, je nachdem, wie schnell dein Server antwortet. Man geht davon aus, dass ein Crawler die Situation einsch\u00e4tzt und sich selbst reguliert.<\/p>\n<p>Diese Konventionen sind fest in die Funktionsweise von Hosting integriert. Zum Beispiel gibt es Caching-Ebenen, weil sich gut funktionierende Crawler die gleichen Seiten so vorhersehbar anfordern, dass sie aus dem Cache bereitgestellt werden k\u00f6nnen. Das gesamte Modell basiert auf der Annahme, dass Crawler sich fair verhalten.<\/p>\n<h3>Wo KI-Crawler diese Normen brechen<\/h3>\n<p>KI-Crawler halten sich in dreierlei Hinsicht nicht an die Regeln:<\/p>\n<ul>\n<li><code>robots.txt<\/code><strong> wird als optional behandelt.<\/strong> <a href=\"https:\/\/tollbit.com\/state-of-the-bots\/\" target=\"_blank\" rel=\"noopener noreferrer\">Berichte von TollBit<\/a> zeigen einen drastischen Anstieg der Anzahl von Bots, die die Anweisungen in der robots.txt ignorieren. Dieselben Berichte beschreiben, wie <a href=\"https:\/\/kinsta.com\/de\/cloudflare-integration\/\">Cloudflare<\/a> einen gro\u00dfen KI-Suchanbieter dabei erwischt hat, auf Inhalte von Websites zuzugreifen, die dies ausdr\u00fccklich untersagt hatten.<\/li>\n<li><strong>Es gibt keine Drosselung.<\/strong> Viele KI-Crawler-Implementierungen senden Anfragen mit einer konstant hohen Rate, egal wie dein Server reagiert. Ein Teil davon ist nicht einmal beabsichtigt, da manche einfach <a href=\"https:\/\/kinsta.com\/de\/ki-bot-traffic\/\">\u201eeinen Bot aus dem Stegreif programmieren \u2026 und ihn loslassen\u201c<\/a>, ohne jemals <code>robots.txt<\/code> zu \u00fcberpr\u00fcfen.<\/li>\n<li><strong>Crawler bleiben in Schleifen stecken.<\/strong> Das ist ein kostspieliges Muster, das eher struktureller Natur als b\u00f6swillig ist. Die meisten Crawler folgen jedem Link, den sie finden, und protokollieren jede eindeutige URL als separate Seite. KI-Crawler folgen einer Variante, die eine weitere hervorbringt, der sie wiederum folgen \u2013 ohne zu merken, dass sie sich im Kreis drehen.<\/li>\n<\/ul>\n<p>Das Schlimme daran ist, dass der Gro\u00dfteil des KI-Crawlings eher dem Modelltraining dient als der Suche oder Nutzeranfragen, was bedeutet, dass dadurch kein Referral-Traffic auf deine Seite zur\u00fcckgeleitet wird.<\/p>\n<h2>Warum das f\u00fcr deinen Server ein Leistungsproblem darstellt<\/h2>\n<p>Das Volumen ist hier nicht wirklich das Problem. Eine statische Seite, die aus dem Cache bereitgestellt wird, kostet dich zum Beispiel fast nichts, sodass tausend zwischengespeicherte Zugriffe kaum ins Gewicht fallen. Die Probleme fangen an, wenn der Traffic den Cache umgeht \u2013 und sich endlos wiederholende Crawler sind gut darin, solche Wege zu finden.<\/p>\n<p>Auf einer WordPress-Website mit WooCommerce machen Such- oder Filteranfragen einen gro\u00dfen Anteil der Anfragen aus, die dynamische Endpunkte statt Seiten erreichen. Dabei handelt es sich typischerweise um Warenkorb-Aktionen, Varianten des Parameters <code>?add-to-cart=<\/code>, gefilterte Produktseiten, Suchanfragen und <a href=\"https:\/\/kinsta.com\/de\/blog\/admin-ajax-php\/\">AJAX-basierte Interaktionen<\/a>, die \u00fcber <code>admin-ajax.php<\/code> weitergeleitet werden. Nichts davon l\u00e4sst sich so zwischenspeichern wie ein Blogbeitrag, daher zwingt jede Anfrage den Server zur Arbeit:<\/p>\n<ul>\n<li><strong>PHP-Ausf\u00fchrung.<\/strong> F\u00fcr die gesamte Dauer jeder Anfrage wird ein <a href=\"https:\/\/kinsta.com\/de\/blog\/php-threads\/\">PHP-Thread<\/a> reserviert. Bei anhaltender Bot-Last gehen die Threads aus, und echte Besucher warten in der Warteschlange hinter den Bots.<\/li>\n<li><strong>Datenbankabfragen.<\/strong> Dynamische Seiten greifen bei jedem Laden auf die Datenbank zu, da es keine Cache-Ebene gibt, die die Abfrage abfangen k\u00f6nnte.<\/li>\n<li><strong>Sitzungsverwaltung.<\/strong> Warenkorb- und Checkout-Seiten erstellen oder validieren bei jeder Anfrage eine Sitzung, was selbst bei Bots, die niemals etwas kaufen werden, zus\u00e4tzlichen Aufwand verursacht.<\/li>\n<\/ul>\n<p>Basierend auf den Infrastrukturdaten von Kinsta generierte ein einzelner Bot innerhalb von 24 Stunden 3,75 Millionen Anfragen an URLs unter <code>add-to-cart<\/code>. Das entspricht rund um die Uhr etwa einer Anfrage alle 23 Millisekunden. Die Symptome sehen aus wie Nutzungsanomalien, Bandbreiten\u00fcberschreitungen, ersch\u00f6pfte PHP-Prozesse und langsamere Antwortzeiten f\u00fcr echte Nutzer. Daher sieht es eher nach normalem Crawling als nach einem Angriff aus, was leicht \u00fcbersehen werden kann.<\/p>\n<h2>So erkennst du die Aktivit\u00e4t von KI-Crawlern in MyKinsta<\/h2>\n<p>Bevor du anf\u00e4ngst, Einstellungen zu \u00e4ndern, musst du sicherstellen, dass Crawler die Ursache sind. MyKinsta bietet dir drei Ansichten, die (im Zusammenspiel) aus einer Vermutung eine Diagnose machen.<\/p>\n<p>Geh zun\u00e4chst in MyKinsta zu <strong>Websites<\/strong> &gt; <strong>\u201eWebsitename\u201c<\/strong> &gt; <strong>Bot-Schutz<\/strong>. Hier zeigt das Diagramm <strong>Anforderungsaufschl\u00fcsselung<\/strong>\u00a0alle Anfragen, die in den letzten 24 Stunden an deine Website gestellt wurden, und wie Kinsta jede einzelne klassifiziert.<\/p>\n<figure id=\"attachment_212123\" aria-describedby=\"caption-attachment-212123\" style=\"width: 1200px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-212123 size-full\" src=\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/06\/request-breakdown.png\" alt=\"Das Anforderungsaufschl\u00fcsselungsdiagramm in MyKinsta zeigt die Anfragen an eine Website in den letzten 24 Stunden, unterteilt nach Traffic-Kategorien. Eine Legende kennzeichnet jede Kategorie farblich, und das Diagramm zeigt den relativen Anteil der einzelnen Kategorien im Zeitverlauf.\" width=\"1200\" height=\"433\"><figcaption id=\"caption-attachment-212123\" class=\"wp-caption-text\">Das Diagramm \u201eAnforderungsaufschl\u00fcsselung\u201c zeigt die Anfragen an eine Website in den letzten 24 Stunden<\/figcaption><\/figure>\n<p>Die Kategorie \u201eKI-Crawler mit \u00fcberm\u00e4\u00dfiger Zugriffsrate\u201c filtert die Bots heraus, die ein so hohes Anfragevolumen erzeugen, dass die Leistung gef\u00e4hrdet ist. Wenn ein gro\u00dfer Teil des Diagramms in diesem Bereich liegt, handelt es sich eher um eine Crawler-Belastung als um einen echten Anstieg der Besucherzahlen.<\/p>\n<p>Das Diagramm zu den<strong> Bot-Schutz-Ergebnissen<\/strong> zeigt dir, was mit dem Traffic passiert ist, indem es ihn in <strong>zugelassene<\/strong>, <strong>angefochtene<\/strong> oder <strong>blockierte<\/strong> Anfragen unterteilt. So kannst du sehen, wie viel automatisierter Traffic derzeit deine Website erreicht und wie viel bereits gefiltert wird, bevor er dort ankommt. Im direkten Vergleich helfen dir diese Diagramme zu verstehen, ob die Last bereits abgefangen wird oder direkt auf deinen Server gelangt.<\/p>\n<p>Um den Traffic mit der Verlangsamung in Verbindung zu bringen, schau dir die <strong>Liste<\/strong> <strong>der Top-Client-IPs<\/strong> in den<strong> MyKinsta-Analysen<\/strong> an:<\/p>\n<figure id=\"attachment_212124\" aria-describedby=\"caption-attachment-212124\" style=\"width: 1200px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-212124 size-full\" src=\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/06\/top-client-ips.png\" alt=\"Das Panel \u201eTop-Client-IPs\u201c listet IP-Adressen zusammen mit der Anzahl ihrer Anfragen auf, wobei jede Adresse als anklickbarer Link zu einem IP-Lookup-Dienst angezeigt wird.\" width=\"1200\" height=\"741\"><figcaption id=\"caption-attachment-212124\" class=\"wp-caption-text\">Das Panel \u201eTop-Client-IPs\u201c listet IP-Adressen zusammen mit der Anzahl ihrer Anfragen auf<\/figcaption><\/figure>\n<p>Hier siehst du die Adressen, von denen die meisten Anfragen gesendet werden, wobei jede IP mit einem Lookup-Dienst verlinkt ist, um ihre Herkunft zu \u00fcberpr\u00fcfen. \u00d6ffne schlie\u00dflich den Reiter <strong>Performance<\/strong> und vergleiche die Spitzen bei den Antwortzeiten mit den Zeitr\u00e4umen intensiven Crawlings. Wenn die Ressourcen-Spitzen und das Bot-Volumen gemeinsam ansteigen und abfallen, wei\u00dft du, dass der n\u00e4chste Schritt darin besteht, den eingehenden Datentraffic zu kontrollieren.<\/p>\n<h2>So verwaltest du KI-Crawler mit dem Bot-Schutz von Kinsta<\/h2>\n<p>Sobald du die Quelle best\u00e4tigt hast, gibt dir der <a href=\"https:\/\/kinsta.com\/de\/docs\/wordpress-hosting\/mykinsta-werkzeuge\/wordpress-werkzeuge-bot-schutz\/\">Bot-Schutz von Kinsta<\/a> die Kontrolle \u00fcber jede Kategorie des Datentraffics. Er erg\u00e4nzt die Plattform-Sicherheitsma\u00dfnahmen, die bereits eindeutig b\u00f6sartigen Datentraffic herausfiltern, und ist in allen Tarifen enthalten.<\/p>\n<figure id=\"attachment_212122\" aria-describedby=\"caption-attachment-212122\" style=\"width: 1200px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-212122 size-full\" src=\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/06\/bot-protection-level.png\" alt=\"Das Fenster \u201eBot-Schutzstufe\u201c in MyKinsta zeigt vier ausw\u00e4hlbare Optionen an, jeweils mit einer kurzen Beschreibung und einem Auswahlfeld (Radiobutton), sowie eine Schaltfl\u00e4che \u201eSchutzstufe \u00e4ndern\u201c.\" width=\"1200\" height=\"553\"><figcaption id=\"caption-attachment-212122\" class=\"wp-caption-text\">Das Fenster \u201eBot-Schutzstufe\u201c mit vier ausw\u00e4hlbaren Optionen<\/figcaption><\/figure>\n<p>Das Fenster <strong>Schutzstufe<\/strong>\u00a0auf dem <strong>Bot-Schutz<\/strong>-Bildschirm in MyKinsta bietet vier Einstellungen zur Auswahl:<\/p>\n<ul>\n<li><strong>Sch\u00e4dlichen Datentraffic blockieren<\/strong>\u00a0ist die Standardeinstellung. Diese Funktion sorgt f\u00fcr DDoS-Abwehr und blockiert IP-Adressen sowie Endpunkte, die mit bekannten Angriffsquellen in Verbindung stehen.<\/li>\n<li><strong>Automatisierungen blockieren<\/strong> f\u00fcgt eine zus\u00e4tzliche Ebene hinzu, die best\u00e4tigten automatisierten Datentraffic blockiert, w\u00e4hrend verifizierte Bots und echte Besucher durchgelassen werden.<\/li>\n<li><strong>Bots herausfordern<\/strong>\u00a0f\u00fcgt einen Verifizierungsschritt f\u00fcr mutma\u00dfliche Bots hinzu. Ein Besucher, der diesen Schritt besteht, wird zehn Tage lang auf demselben Browser und derselben IP-Adresse nicht erneut herausgefordert.<\/li>\n<li><strong>Alle herausfordern<\/strong>\u00a0ist die strengste Einstellung und l\u00e4sst nur verifizierte Bots durch. Dies ist ein Tool f\u00fcr den kurzfristigen Einsatz w\u00e4hrend eines aktiven Zugriffsspitzen.<\/li>\n<\/ul>\n<p>Ab der Einstellung<strong> Bots herausfordern<\/strong>\u00a0oder h\u00f6her wird jedes Tool, das sich programmgesteuert mit deiner Website verbindet und nicht im <a href=\"https:\/\/radar.cloudflare.com\/bots#verified-bots\" target=\"_blank\" rel=\"noopener noreferrer\">Verzeichnis der verifizierten Bots von Cloudflare<\/a> aufgef\u00fchrt ist, herausgefordert oder blockiert. Stelle daher sicher, dass deine gesch\u00e4ftskritischen Tools auf dieser Liste stehen, bevor du die Stufe erh\u00f6hst.<\/p>\n<p>Kinsta legt eigene Regeln \u00fcber die Liste der verifizierten Bots von Cloudflare. Das bedeutet, dass verifizierte KI-Bots, die ein hohes Anfragevolumen erzeugen, in die separate Kategorie <strong>AI-Crawler mit \u00fcberm\u00e4\u00dfiger Zugriffsrate<\/strong>\u00a0umgestuft werden.<\/p>\n<p>Die Logik dahinter ist, einen Crawler anhand seines Verhaltens und nicht anhand seiner Anmeldedaten zu beurteilen. So wird ein verifizierter Bot, der deine Website \u00fcberm\u00e4\u00dfig belastet, als das Problem behandelt, zu dem er geworden ist. Wenn du den Schutz auf <strong>Challenge-Bots<\/strong>\u00a0oder h\u00f6her einstellst, kannst du legitimen Diensten mit hohem Datenvolumen die M\u00f6glichkeit geben, sich zu beweisen, w\u00e4hrend Crawler, die in einer Schleife stecken, herausgefiltert werden.<\/p>\n<h3>Weitere Bot-Schutzfunktionen von MyKinsta<\/h3>\n<p>Der Schalter <strong>KI-Crawler blockieren<\/strong>\u00a0ist eine vom Schutzlevel unabh\u00e4ngige Steuerung, die speziell auf KI-Crawler abzielt, einschlie\u00dflich verifizierter wie GPTBot. Googlebot und Bingbot indexieren deine Website weiterhin wie gewohnt, sodass dadurch die Belastung durch KI-Crawler beseitigt wird, ohne deine Sichtbarkeit in Suchmaschinen zu beeintr\u00e4chtigen.<\/p>\n<aside role=\"note\" class=\"wp-block-kinsta-notice is-style-info\">\n            <h3>Info<\/h3>\n        <p>Googlebot crawlt gleichzeitig sowohl f\u00fcr die Suchindexierung als auch f\u00fcr das KI-Training. Wenn du speziell das KI-Training von Google deaktivieren m\u00f6chtest, musst du \u201eGoogle-Extended\u201c separat \u00fcber deine <code>robots.txt<\/code>-Datei blockieren.<\/p>\n<\/aside>\n\n<figure id=\"attachment_212121\" aria-describedby=\"caption-attachment-212121\" style=\"width: 1200px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-212121 size-full\" src=\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/06\/block-ai-crawlers.png\" alt=\"Die Schaltfl\u00e4che \u201eKI-Crawler blockieren\u201c in MyKinsta ist auf \u201eEin\u201c gestellt und mit einem Erl\u00e4uterungstext versehen.\" width=\"1200\" height=\"552\"><figcaption id=\"caption-attachment-212121\" class=\"wp-caption-text\">Der Schalter \u201eKI-Crawler blockieren\u201c in MyKinsta in der eingeschalteten Position, komplett mit Erl\u00e4uterungstext<\/figcaption><\/figure>\n<p>Das ist eine \u00fcbersichtlichere Option als die manuelle Bearbeitung von <code>robots.txt<\/code>\u00a0oder die Pflege von Regeln pro Bot, aber du solltest die Vor- und Nachteile gut abw\u00e4gen, bevor du diese Funktion aktivierst.<\/p>\n<p>Das Blockieren von KI-Crawlern verringert, wie oft deine Inhalte in <a href=\"https:\/\/kinsta.com\/de\/blog\/geo-vs-aeo-vs-seo-wordpress\/\">KI-generierten Antworten und Zusammenfassungen<\/a> auftauchen, und da KI-Tools f\u00fcr manche Zielgruppen zu einem immer wichtigeren Entdeckungskanal werden, hat ein vollst\u00e4ndiger Verzicht Auswirkungen, die \u00fcber die Serverauslastung hinausgehen.<\/p>\n<p>F\u00fcr leistungsorientierte Websites wie WooCommerce-Shops, stark frequentierte Content-Websites und Mitgliederplattformen sind die Ressourcenkosten durch KI-Crawling hoch und der Nutzen gering \u2013 daher kann das Blockieren die bessere Entscheidung sein, wenn du Probleme feststellst. Bei Websites, bei denen der Inhalt im Vordergrund steht und die Sichtbarkeit durch KI eine strategische Priorit\u00e4t ist, filterst du mit den Einstellungen <strong>Automatisierungen blockieren<\/strong> oder <strong>Bots herausfordern<\/strong>\u00a0das schlimmste Verhalten heraus, w\u00e4hrend deine Inhalte f\u00fcr KI-Plattformen weiterhin indexierbar bleiben.<\/p>\n<p>Es gibt keine allgemeing\u00fcltige richtige Antwort. Der Schalter ist da, um dir die Wahl zu lassen.<\/p>\n<p>Ein strengerer Schutz kann den automatisierten Traffic blockieren, auf den du angewiesen bist \u2013 daher sorgen zwei Einstellungen daf\u00fcr, dass er weiterflie\u00dft. Im Bereich <strong>Immer zulassen<\/strong>\u00a0kannst du bis zu 50 Ausnahmen nach IP-Adresse, Pfad oder User-Agent hinzuf\u00fcgen. Hier listest du die Dinge auf, die niemals \u00fcberpr\u00fcft werden sollten, wie zum Beispiel einen \u00dcberwachungsdienst, einen Zahlungs-Webhook oder eine vertrauensw\u00fcrdige IP-Adresse aus dem B\u00fcro oder von einem Kunden.<\/p>\n<figure id=\"attachment_212120\" aria-describedby=\"caption-attachment-212120\" style=\"width: 1200px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-212120 size-full\" src=\"https:\/\/kinsta.com\/wp-content\/uploads\/2026\/06\/always-allow.png\" alt=\"Der Dialog \u201eNeue Ausnahme hinzuf\u00fcgen\u201c in MyKinsta zeigt Optionen zur Eingabe eines neuen URL-Pfads sowie Registerkarten zur Auswahl von IP-Adressen und User-Agents an.\" width=\"1200\" height=\"681\"><figcaption id=\"caption-attachment-212120\" class=\"wp-caption-text\">Der Bildschirm \u201eNeue Ausnahme hinzuf\u00fcgen\u201c mit Optionen zur Eingabe eines neuen URL-Pfads<\/figcaption><\/figure>\n<p>Die Option<strong> Typische WordPress-Automatisierungen zulassen<\/strong>\u00a0aktiviert eine verwaltete \u201eWhitelist\u201c mit g\u00e4ngigen WordPress-Endpunkten und -Diensten, einschlie\u00dflich der <a href=\"https:\/\/kinsta.com\/de\/blog\/wordpress-rest-api\/\">REST-API<\/a> und Hintergrundaufgaben. Du aktivierst sie parallel zu strengeren Schutzma\u00dfnahmen, wenn deine Website auf Plugins, Integrationen oder geplante Aufgaben angewiesen ist, die automatisierte Anfragen stellen, damit eine Verst\u00e4rkung deiner Abwehrma\u00dfnahmen nicht unbemerkt einen Arbeitsablauf unterbricht.<\/p>\n<h2>Die neuen Regeln des Web-Crawlings erfordern eine genauere Verwaltung deinerseits<\/h2>\n<p>W\u00e4hrend sich das Verhalten im Internet ge\u00e4ndert hat, hat sich dein Hosting wahrscheinlich nicht ge\u00e4ndert. KI-Crawler reagieren nicht auf dieselben Regeln, die Suchmaschinen \u00fcber zwei Jahrzehnte hinweg entwickelt haben.<code>robots.txt<\/code>\u00a0ist optional, und das Crawling findet mit einer konstant hohen Rate statt. Au\u00dferdem bekommst du nichts als Gegenleistung f\u00fcr die verbrauchten Ressourcen. Das f\u00fchrt zu einem Leistungs- und Kostenproblem, das eher wie eine \u00fcberlastete Website aussieht als nach Crawler-Aktivit\u00e4t.<\/p>\n<p>Die L\u00f6sung ist ein kurzer Schritt, den du selbst steuern kannst. \u00dcberpr\u00fcfe zun\u00e4chst die Ursache in den Analysen von MyKinsta. Als N\u00e4chstes stellst du in MyKinsta die richtige <strong>Schutzstufe<\/strong> ein und aktivierst <strong>KI-Crawler blockieren<\/strong>, um die Last durch KI-Crawler zu verringern, ohne an Sichtbarkeit in den Suchmaschinen einzub\u00fc\u00dfen. Sch\u00fctze dann das, worauf du dich verl\u00e4sst, mit <strong>Immer zulassen<\/strong>, damit strengere Einstellungen keine vertrauensw\u00fcrdige Integration beeintr\u00e4chtigen. Jede \u00c4nderung wird ohne Ausfallzeiten wirksam, sodass du Anpassungen vornehmen kannst, sobald sich die Muster \u00e4ndern.<\/p>\n<p>Wenn du viele Kunden-Websites verwaltest, bietet das <a href=\"https:\/\/kinsta.com\/de\/agentur-partnerprogramm\/\">Agency-Partner-Programm<\/a> von Kinsta diese Kontrollm\u00f6glichkeiten zusammen mit dediziertem Support. <a href=\"https:\/\/kinsta.com\/de\/wordpress-hosting\/\">Entdecke das Managed-WordPress-Hosting von Kinsta<\/a>, um diese Kontrolle effektiv zu nutzen.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Im Jahr 2025 machten Bots 53 % des gesamten Web-Traffics aus \u2013 zum ersten Mal hatte der automatisierte Traffic den von Menschen in einem Kalenderjahr \u00fcberholt. &#8230;<\/p>\n","protected":false},"author":287,"featured_media":77086,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_kinsta_gated_content":false,"_kinsta_gated_content_redirect":"","footnotes":""},"tags":[],"topic":[1064,1063],"class_list":["post-77085","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","topic-bot-traffic","topic-web-crawler"],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v24.6 (Yoast SEO v24.6) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen - Kinsta\u00ae<\/title>\n<meta name=\"description\" content=\"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen\" \/>\n<meta property=\"og:description\" content=\"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/\" \/>\n<meta property=\"og:site_name\" content=\"Kinsta\u00ae\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/Kinsta-Deutschland-207459890108303\/\" \/>\n<meta property=\"article:published_time\" content=\"2026-08-10T07:28:33+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-08-14T12:38:03+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1470\" \/>\n\t<meta property=\"og:image:height\" content=\"735\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Joel Olawanle\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:description\" content=\"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.\" \/>\n<meta name=\"twitter:image\" content=\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png\" \/>\n<meta name=\"twitter:creator\" content=\"@olawanle_joel\" \/>\n<meta name=\"twitter:site\" content=\"@Kinsta_DE\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Joel Olawanle\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"12\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/\"},\"author\":{\"name\":\"Joel Olawanle\",\"@id\":\"https:\/\/kinsta.com\/de\/#\/schema\/person\/efa7de30245ca15be5ce1dcacff89c07\"},\"headline\":\"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen\",\"datePublished\":\"2026-08-10T07:28:33+00:00\",\"dateModified\":\"2026-08-14T12:38:03+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/\"},\"wordCount\":2390,\"publisher\":{\"@id\":\"https:\/\/kinsta.com\/de\/#organization\"},\"image\":{\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png\",\"inLanguage\":\"de\"},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/\",\"url\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/\",\"name\":\"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen - Kinsta\u00ae\",\"isPartOf\":{\"@id\":\"https:\/\/kinsta.com\/de\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png\",\"datePublished\":\"2026-08-10T07:28:33+00:00\",\"dateModified\":\"2026-08-14T12:38:03+00:00\",\"description\":\"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.\",\"breadcrumb\":{\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage\",\"url\":\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png\",\"contentUrl\":\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png\",\"width\":1470,\"height\":735},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/kinsta.com\/de\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Bot Traffic\",\"item\":\"https:\/\/kinsta.com\/de\/thema\/bot-traffic\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/kinsta.com\/de\/#website\",\"url\":\"https:\/\/kinsta.com\/de\/\",\"name\":\"Kinsta\u00ae\",\"description\":\"Schnelle, sichere und hochwertige Hosting-L\u00f6sungen\",\"publisher\":{\"@id\":\"https:\/\/kinsta.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/kinsta.com\/de\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/kinsta.com\/de\/#organization\",\"name\":\"Kinsta\",\"url\":\"https:\/\/kinsta.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/kinsta.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2023\/12\/kinsta-logo.jpeg\",\"contentUrl\":\"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2023\/12\/kinsta-logo.jpeg\",\"width\":500,\"height\":500,\"caption\":\"Kinsta\"},\"image\":{\"@id\":\"https:\/\/kinsta.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/Kinsta-Deutschland-207459890108303\/\",\"https:\/\/x.com\/Kinsta_DE\",\"https:\/\/www.instagram.com\/kinstahosting\/\",\"https:\/\/www.linkedin.com\/company\/kinsta\/\",\"https:\/\/www.pinterest.com\/kinstahosting\/\",\"https:\/\/www.youtube.com\/c\/Kinsta\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/kinsta.com\/de\/#\/schema\/person\/efa7de30245ca15be5ce1dcacff89c07\",\"name\":\"Joel Olawanle\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/kinsta.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/051bf577ce2c837846a1db9eef184758?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/051bf577ce2c837846a1db9eef184758?s=96&d=mm&r=g\",\"caption\":\"Joel Olawanle\"},\"description\":\"Joel is a Frontend developer working at Kinsta as a Technical Editor. He is a passionate teacher with love for open source and has written over 300 technical articles majorly around JavaScript and it's frameworks.\",\"sameAs\":[\"https:\/\/joelolawanle.com\/\",\"https:\/\/www.linkedin.com\/in\/olawanlejoel\/\",\"https:\/\/x.com\/olawanle_joel\",\"https:\/\/www.youtube.com\/@joelolawanle\"],\"gender\":\"male\",\"knowsAbout\":[\"JavaScript\",\"React\",\"Next.js\"],\"knowsLanguage\":[\"English\"],\"jobTitle\":\"Technical Editor\",\"worksFor\":\"Kinsta\",\"url\":\"https:\/\/kinsta.com\/de\/blog\/author\/joelolawanle\/\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen - Kinsta\u00ae","description":"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/","og_locale":"de_DE","og_type":"article","og_title":"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen","og_description":"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.","og_url":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/","og_site_name":"Kinsta\u00ae","article_publisher":"https:\/\/www.facebook.com\/Kinsta-Deutschland-207459890108303\/","article_published_time":"2026-08-10T07:28:33+00:00","article_modified_time":"2026-08-14T12:38:03+00:00","og_image":[{"width":1470,"height":735,"url":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png","type":"image\/png"}],"author":"Joel Olawanle","twitter_card":"summary_large_image","twitter_description":"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.","twitter_image":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png","twitter_creator":"@olawanle_joel","twitter_site":"@Kinsta_DE","twitter_misc":{"Verfasst von":"Joel Olawanle","Gesch\u00e4tzte Lesezeit":"12\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#article","isPartOf":{"@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/"},"author":{"name":"Joel Olawanle","@id":"https:\/\/kinsta.com\/de\/#\/schema\/person\/efa7de30245ca15be5ce1dcacff89c07"},"headline":"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen","datePublished":"2026-08-10T07:28:33+00:00","dateModified":"2026-08-14T12:38:03+00:00","mainEntityOfPage":{"@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/"},"wordCount":2390,"publisher":{"@id":"https:\/\/kinsta.com\/de\/#organization"},"image":{"@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage"},"thumbnailUrl":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png","inLanguage":"de"},{"@type":"WebPage","@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/","url":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/","name":"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen - Kinsta\u00ae","isPartOf":{"@id":"https:\/\/kinsta.com\/de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage"},"image":{"@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage"},"thumbnailUrl":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png","datePublished":"2026-08-10T07:28:33+00:00","dateModified":"2026-08-14T12:38:03+00:00","description":"KI-Crawler ignorieren die robots.txt-Datei, durchlaufen dynamische URLs und geben keine Ergebnisse zur\u00fcck. Hier erf\u00e4hrst du, wie du sie in MyKinsta verwalten kannst.","breadcrumb":{"@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#primaryimage","url":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png","contentUrl":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2026\/08\/why-ai-crawlers-are-breaking-the-rules-of-web-crawling.png","width":1470,"height":735},{"@type":"BreadcrumbList","@id":"https:\/\/kinsta.com\/de\/blog\/ki-crawler-regeln-web-crawling\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/kinsta.com\/de\/"},{"@type":"ListItem","position":2,"name":"Bot Traffic","item":"https:\/\/kinsta.com\/de\/thema\/bot-traffic\/"},{"@type":"ListItem","position":3,"name":"Warum KI-Crawler gegen die Regeln des Web-Crawlings versto\u00dfen"}]},{"@type":"WebSite","@id":"https:\/\/kinsta.com\/de\/#website","url":"https:\/\/kinsta.com\/de\/","name":"Kinsta\u00ae","description":"Schnelle, sichere und hochwertige Hosting-L\u00f6sungen","publisher":{"@id":"https:\/\/kinsta.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/kinsta.com\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/kinsta.com\/de\/#organization","name":"Kinsta","url":"https:\/\/kinsta.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/kinsta.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2023\/12\/kinsta-logo.jpeg","contentUrl":"https:\/\/kinsta.com\/de\/wp-content\/uploads\/sites\/5\/2023\/12\/kinsta-logo.jpeg","width":500,"height":500,"caption":"Kinsta"},"image":{"@id":"https:\/\/kinsta.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/Kinsta-Deutschland-207459890108303\/","https:\/\/x.com\/Kinsta_DE","https:\/\/www.instagram.com\/kinstahosting\/","https:\/\/www.linkedin.com\/company\/kinsta\/","https:\/\/www.pinterest.com\/kinstahosting\/","https:\/\/www.youtube.com\/c\/Kinsta"]},{"@type":"Person","@id":"https:\/\/kinsta.com\/de\/#\/schema\/person\/efa7de30245ca15be5ce1dcacff89c07","name":"Joel Olawanle","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/kinsta.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/051bf577ce2c837846a1db9eef184758?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/051bf577ce2c837846a1db9eef184758?s=96&d=mm&r=g","caption":"Joel Olawanle"},"description":"Joel is a Frontend developer working at Kinsta as a Technical Editor. He is a passionate teacher with love for open source and has written over 300 technical articles majorly around JavaScript and it's frameworks.","sameAs":["https:\/\/joelolawanle.com\/","https:\/\/www.linkedin.com\/in\/olawanlejoel\/","https:\/\/x.com\/olawanle_joel","https:\/\/www.youtube.com\/@joelolawanle"],"gender":"male","knowsAbout":["JavaScript","React","Next.js"],"knowsLanguage":["English"],"jobTitle":"Technical Editor","worksFor":"Kinsta","url":"https:\/\/kinsta.com\/de\/blog\/author\/joelolawanle\/"}]}},"acf":[],"_links":{"self":[{"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/posts\/77085","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/users\/287"}],"replies":[{"embeddable":true,"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/comments?post=77085"}],"version-history":[{"count":5,"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/posts\/77085\/revisions"}],"predecessor-version":[{"id":77130,"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/posts\/77085\/revisions\/77130"}],"alternate":[{"embeddable":true,"hreflang":"en","title":"English","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/en"},{"embeddable":true,"hreflang":"it","title":"Italian","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/it"},{"embeddable":true,"hreflang":"fr","title":"French","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/fr"},{"embeddable":true,"hreflang":"de","title":"German","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/de"},{"embeddable":true,"hreflang":"ja","title":"Japanese","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/jp"},{"embeddable":true,"hreflang":"es","title":"Spanish","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/es"},{"embeddable":true,"hreflang":"nl","title":"Dutch","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/nl"},{"embeddable":true,"hreflang":"pt","title":"Portuguese","href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/translations\/pt"},{"href":"https:\/\/kinsta.com\/de\/wp-json\/kinsta\/v1\/posts\/77085\/tree"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/media\/77086"}],"wp:attachment":[{"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/media?parent=77085"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/tags?post=77085"},{"taxonomy":"topic","embeddable":true,"href":"https:\/\/kinsta.com\/de\/wp-json\/wp\/v2\/topic?post=77085"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}