Bot-Traffic nimmt im Web immer mehr Raum ein und wird zu einem immer wichtigeren Faktor für jeden, der eine Website betreibt. Das wurde durch Kinstas Analyse von mehr als 10 Milliarden Anfragen in einem Jahr untermauert, in dem der KI-gesteuerte Bot-Traffic Berichten zufolge um rund 300 % zugenommen hat.

Angesichts des wachsenden automatisierten Datenverkehrs sollte das Bot-Management nach Möglichkeit proaktiv erfolgen, bevor ungewöhnliche Aktivitäten die Leistung der Website beeinträchtigen oder übermäßig viele Ressourcen verbrauchen. Das bedeutet aber nicht, dass jeder Bot blockiert werden muss. Ein Teil des automatisierten Datenverkehrs, wie Such-Crawler und Überwachungstools, ist nützlich, während andere Bots Ressourcen verbrauchen können, ohne aktiv böswillig zu sein.

Am anderen Ende des Spektrums kann manche Bot-Zugriffe schwerwiegende Leistungs- oder Sicherheitsprobleme verursachen und muss schnell gestoppt werden. Die Herausforderung besteht darin, zu erkennen, womit man es zu tun hat, und eine angemessene Reaktion zu wählen.

Planen ist besser als in Panik zu geraten

Die beste Reaktion ist nicht, in Panik zu geraten oder einfach alles zu blockieren. Stattdessen kannst du diesen wiederholbaren Prozess befolgen:

  • Beurteile die Auswirkungen. Verstehe, was gerade passiert und welcher Datenverkehr dafür verantwortlich ist.
  • Stabilisiere die Website bei Bedarf schnell.
  • Erstelle einen längerfristigen Managementplan, indem du entscheidest, was zugelassen, überprüft oder blockiert werden soll.
  • Beobachte die Ergebnisse, passe den Plan bei Bedarf an und dokumentiere alles für die Zukunft.

Schauen wir uns das mal genauer an. Am Ende stellen wir dir eine Checkliste zur Verfügung, die du nutzen kannst.

1. Finde heraus, was vor sich geht: Handelt es sich um ein Bot-Problem oder um einen tatsächlichen Angriff?

Bevor du Maßnahmen gegen Bot-Traffic ergreifst, ist es wichtig zu verstehen, was auf deiner Website vor sich geht:

  • Hat deine Website mit normalen Bot-Problemen zu kämpfen, die zwar proaktiv angegangen werden sollten, aber keine akuten Notfälle darstellen?
  • Wird deine Website aktiv von einem böswilligen Akteur angegriffen? Oder gibt es – auch wenn es nicht absichtlich böswillig ist – eine bestimmte Art von automatisiertem Traffic, der zu viele Ressourcen verbraucht und akute Probleme verursacht?

Wenn du feststellst, dass es sich um einen gezielten Angriff oder ein anderes akutes Problem handelt, sollte deine oberste Priorität darin bestehen, deine Website so schnell wie möglich zu stabilisieren. Wie das geht, erklären wir weiter unten.

Doch selbst wenn der Bot-Traffic auf deiner Website derzeit kein Problem darstellt, ist es dennoch besser, proaktiv statt reaktiv mit Bots umzugehen. So kannst du Bots bekämpfen, bevor sie den legitimen Traffic deiner Website beeinträchtigen.

Die Bot-Traffic-Analysen von Kinsta können dir helfen zu verstehen, welche Arten von Bots verschiedene Bereiche deiner Website besuchen. Anhand dieser Erkenntnisse kannst du nachvollziehen, was vor sich geht und wie du mit verschiedenen Arten von Bot-Traffic umgehst.

Die Analyse „Aufschlüsselung der Anfragen“ zeigt dir den Traffic auf deiner Website, aufgeschlüsselt nach verschiedenen Kategorien:

  • Wahrscheinlich Menschen
  • Verifizierte Bots (von Cloudflare verifiziert)
  • Wahrscheinlich Bots
  • KI-Crawler
  • KI-Crawler mit übermäßiger Zugriffsrate
  • Nicht klassifizierter Datenverkehr
  • Automatisierter Datenverkehr
  • Böswilliger Datenverkehr
  • Von Kinsta für deine Website konfigurierte benutzerdefinierte Regeln
  • WP-Automatisierungen
Kinstas Aufschlüsselung der Bot-Schutzanfragen.
Kinstas Aufschlüsselung der Bot-Schutzanfragen.

Wenn du nach unten zum Feld „Top-Traffic“ scrollst, siehst du die häufigsten Pfade, User-Agents, Länder und IPs für verschiedene Traffic-Kategorien.

Anzeige der häufigsten Pfade, User-Agents, Länder und IPs für Bot-Traffic.
Anzeige der häufigsten Pfade, User-Agents, Länder und IPs für Bot-Traffic.

Hier siehst du, welche Arten von Bots – und sogar welche konkreten Bots – verschiedene Bereiche deiner Website aufrufen. Nutze diese Informationen, um zu entscheiden, ob deine Website legitimen Bot-Traffic erhält oder ob es sich um eine Art böswilligen Angriff handelt.

Steht die Website unter Druck?

Ob deine Website unter Druck steht oder nicht, ist einer der wichtigsten Faktoren bei der Einschätzung der Schwere des Vorfalls.

Prüfe, ob eines der folgenden Probleme auftritt:

  • Langsamere Ladezeiten oder Fehler
  • Erhöhte Server-/PHP-/Datenbankauslastung
  • Traffic-Spitzen, die nicht mit legitimen Besuchern/Metriken übereinstimmen
  • Eine große Anzahl von Anfragen, die auf dieselben URLs abzielen

Wenn du diese Probleme feststellst, steht deine Website wahrscheinlich zumindest unter einer gewissen Belastung. Das zu wissen ist wichtig, da sich diese Probleme negativ auf den legitimen Traffic auswirken und eine umgehende Stabilisierung erfordern.

2. Stabilisiere die Website bei Bedarf

Wenn legitime Besucher bereits beeinträchtigt sind, musst du keine vollständige Untersuchung durchführen, bevor du Maßnahmen ergreifst. Stabilisiere die Website zunächst, damit sie für legitime Besucher wieder einwandfrei funktioniert. Verfeinere dann deine Regeln, sobald die unmittelbare Belastung unter Kontrolle ist.

Wenn deine Website hingegen derzeit keine Probleme aufweist und du dich lediglich proaktiv mit Bot-Traffic befasst, kannst du direkt zu einem tiefergehenden Ansatz für den Umgang mit Bot-Traffic übergehen.

Bei akuten Problemen, die eine sofortige Stabilisierung erfordern, solltest du Folgendes in Betracht ziehen:

  • Erhöhe vorübergehend den Bot-Schutz. Nutze Tools wie Kinsta Bot Protection, um deine Website schnell vor Bots zu schützen.
  • Blockiere eindeutig missbräuchlichen Traffic. So kannst du die schlimmsten Übeltäter stoppen, bevor sie deine Website erreichen.
  • Überprüfe verdächtigen Traffic. Bei Traffic, bei dem du dir unsicher bist, kannst du Überprüfungen einrichten, um sicherzustellen, dass er legitim ist. Was „Überprüfung“ bedeutet, erklären wir im nächsten Abschnitt genauer.
  • Erhalte den Zugriff für wichtige Crawler und Integrationen aufrecht. So stellst du sicher, dass wichtige Website-Funktionen und Geschäftskennzahlen (wie Google-Suchrankings) nicht beeinträchtigt werden.

Kinsta Bot Protection bietet eine schnelle Möglichkeit, deine Website zu stabilisieren, und gibt dir gleichzeitig die Flexibilität, eine für diese Website optimierte Strategie zu entwickeln.

Kinsta blockiert bereits Traffic, der durch seine grundlegenden Sicherheitsmaßnahmen als bösartig eingestuft wird, doch strengere Bot-Schutzstufen können bei automatisiertem Traffic helfen, der nicht unbedingt als bösartig eingestuft wird.

Du könntest zum Beispiel alle nicht verifizierten Bots oder grundsätzlich jeden herausfordern.

Auch wenn diese Ansätze aggressiver sind, als es die meisten Websites langfristig benötigen, sind sie eine großartige Möglichkeit, deine Website schnell zu stabilisieren und die Lage unter Kontrolle zu bringen, während du eine ausgefeiltere Strategie entwickelst.

So änderst du die Bot-Schutzstufe bei Kinsta.
So änderst du die Bot-Schutzstufe bei Kinsta.

3. Entscheide, was du zulassen, überprüfen oder blockieren möchtest

Sobald du sicher bist, dass deine Website stabil läuft, kannst du eine längerfristige Strategie für den Umgang mit Bot-Traffic entwickeln.

Du kannst diese Strategie aufbauen, indem du entscheidest, ob du verschiedene Arten von Bots zulassen, überprüfen oder blockieren möchtest.

Das bedeuten diese Begriffe:

  • Zulassen: Gewährt der Anfrage Zugriff auf deine Website.
  • Herausforderung: Die Anfrage muss einen zusätzlichen Verifizierungsschritt durchlaufen, bevor sie auf die Website zugreifen darf. Bei Kinsta wird ein Besucher, der die Herausforderung erfolgreich bestanden hat, in der Regel mindestens 10 Tage lang nicht erneut herausgefordert, solange er denselben Browser und dieselbe IP-Adresse nutzt.
  • Blockieren: Verhindert, dass die Anfrage auf deine Website zugreift.

Bei der Entscheidung, ob du verschiedene Arten von Bots zulassen, abfragen oder blockieren möchtest, solltest du dir folgende Fragen durch den Kopf gehen lassen:

  • Bietet der Bot einen Mehrwert? Suchmaschinen-Crawler helfen deiner Website beispielsweise dabei, Traffic aus der organischen Suche zu erhalten, und manche KI-Crawler können die Sichtbarkeit oder Zitate in KI-generierten Antworten fördern. Andererseits bietet ein Scraper, der keinen Traffic auf deine Website leitet, möglicherweise keinen Mehrwert.
  • Wie viel kostet dich der Bot-Traffic? Analysiere, welche Kosten dir der Bot-Traffic in Bezug auf Serverressourcen (Rechenleistung, Bandbreite und Datenbankabfragen) sowie die Leistung für legitime Besucher verursacht. Denk daran, dass nicht alle Anfragen gleich sind – ein Bot, der einen zwischengespeicherten Blogbeitrag aufruft, „kostet“ in der Regel viel weniger als ein Bot, der eine dynamische Seite (wie den WooCommerce-Warenkorb) aufruft.
  • Was passiert, wenn du den Bot blockierst? Bedenke die Folgen einer Blockierung des Bots. Wenn du beispielsweise den Googlebot blockierst, kann das dazu führen, dass Google deine Inhalte nicht mehr ordnungsgemäß crawlen und indexieren kann, was deiner Sichtbarkeit in der Google-Suche erheblich schaden kann. Andererseits kannst du viele andere Bots blockieren, ohne dass dies Konsequenzen für deine Website hat.

So könnten sich diese Fragen im Einzelnen darstellen:

  • Zulassen: Zieh diesen Ansatz in Betracht, wenn der Traffic legitim und wertvoll ist.
  • Blockieren: Ziehe diesen Ansatz in Betracht, wenn der Traffic eindeutig unerwünscht ist, missbräuchlich genutzt wird oder unverhältnismäßige Kosten verursacht.
  • Herausfordern: Ziehe dies in Situationen in Betracht, in denen die richtige Reaktion nicht klar ist.

Wichtig ist, dass du diese Regeln nicht pauschal auf deine gesamte Website anwenden musst. Vielleicht möchtest du eine bestimmte Gruppe von Bots für bestimmte Inhalte auf deiner Website zulassen, sie für andere Inhalte jedoch einer Überprüfung unterziehen oder blockieren.

Kinsta Bot Protection hilft dir dabei, diese flexiblen Bot-Regeln umzusetzen, indem du Ausnahmen basierend auf IP-Adresse, Pfad, User-Agent oder Land hinzufügst.

So richtest du Ausnahmen für Bot-Traffic ein.
So richtest du Ausnahmen für Bot-Traffic ein.

Tipps für den Umgang mit bestimmten Bot-Szenarien

Um zu veranschaulichen, wie du diese Rahmenbedingungen auf eine WordPress-Website anwenden kannst, schauen wir uns einige gängige Bot-Szenarien an und wie du darauf reagieren könntest.

Dies ist keine umfassende Liste aller möglichen Situationen. Vielmehr handelt es sich nur um einige gängige Beispiele, die dir eine Vorstellung davon geben sollen, wie diese Prinzipien auf einer echten Website funktionieren könnten.

Ein Suchmaschinen-Crawler erzeugt viel Traffic

Wenn ein Such-Crawler viele Anfragen generiert und du dir Sorgen um die Serverauslastung machst, kannst du wie folgt vorgehen.

Beantworte zunächst die folgenden Fragen:

  • Welche URLs werden gecrawlt?
  • Findet der Crawler nützliche, indexierbare Inhalte?
  • Bleibt er bei Parametern, Filtern oder dynamischen Endpunkten hängen? Im Grunde genommen URLs, die nicht indexiert werden sollten.
  • Leidet die eigentliche Leistung tatsächlich darunter?

Je nach diesen Antworten kannst du wie folgt vorgehen:

  • Blockiere den Crawler nicht automatisch. Untersuche Crawling-Probleme und Ineffizienzen, anstatt den gesamten Crawler zu blockieren.
  • Achte besonders darauf, den Zugriff auf wertvolle, indexierbare Inhalte zu gewährleisten.
  • Schränke das Crawlen unnötiger dynamischer URL-Varianten ein oder vermeide es.

KI-Crawler verbrauchen erhebliche Ressourcen

KI-Crawler können eine Menge Anfragen generieren, aber es kann schwierig sein zu beurteilen, ob sie einen Mehrwert bieten.

Hier sind ein paar Fragen, die dir dabei helfen können, das herauszufinden:

  • Legst du Wert auf Sichtbarkeit/Zitate durch KI?
  • Liefert der Crawler sinnvollen Referral-Traffic?
  • Sammelt er hauptsächlich Inhalte ohne offensichtlichen Nutzen? Es gibt einen Unterschied zwischen der kostenlosen Unterstützung beim Training eines KI-Modells und der Steigerung deiner KI-Sichtbarkeit bzw. deiner KI-Zitate.
  • Belastet der Traffic deine Infrastruktur erheblich?

Denk daran, dass du nicht alle KI-Crawler gleich behandeln musst. Vielleicht stellst du fest, dass manche Crawler mehr Nutzen bieten als andere, und es ist sinnvoll, das in deine Reaktion einzubeziehen. Die Bot-Schutz-Tools von Kinsta können dir helfen, separate Regeln für verschiedene Crawler zu erstellen.

Sobald du diese Fragen beantwortet hast, kannst du eine Antwort wie diese in Betracht ziehen:

  • Lass wertvolle KI-Crawler zu, wenn ihr Zugriff mit deinen Zielen übereinstimmt.
  • Stelle aggressive Crawler in Frage oder schränke sie ein.
  • Blockiere KI-Crawler, wenn der Datenverkehr kaum Nutzen bringt und erhebliche Ressourcenkosten verursacht.

Bots greifen teure dynamische Endpunkte an

Bot-Zugriffe auf dynamische Endpunkte können deutlich mehr Ressourcen verbrauchen als Zugriffe auf statische, zwischengespeicherte Seiten.

Beispiele für solche Endpunkte bei WordPress sind Seiten wie Warenkörbe, Kassen, Suchfunktionen, Anmeldungen usw. Das kommt häufig bei WooCommerce-Shops vor, betrifft aber auch andere Arten von Websites.

Auch wenn dieser Bot-Traffic nicht unbedingt böswillig ist, ist er aus mehreren Gründen problematisch:

  • Anfragen können den Cache umgehen.
  • PHP-Verarbeitung ist erforderlich.
  • Es können Datenbankabfragen ausgeführt werden.
  • Echte Kunden konkurrieren um dieselben Ressourcen.

Wenn du solche Anfragen feststellst, solltest du wie folgt vorgehen:

  • Schütze die jeweiligen ressourcenintensiven Endpunkte.
  • Verhindere unnötigen Zugriff von Crawlern auf die Warenkorb- und Checkout-Funktionen.
  • Blockiere Such-Crawler nicht für die gesamte Website, da du in der Regel weiterhin möchtest, dass sie auf andere Inhalte zugreifen können.
  • Untersuche die Ausbreitung von URL-Parametern und Crawling-Schleifen.
  • Überwache die Serverleistung nach der Umsetzung der Änderung.

Ein unbekannter Scraper crawlt Tausende von URLs

In manchen Situationen stößt du vielleicht auf einen unbekannten Bot, der aggressiv crawlt und deinem Webauftritt keinen offensichtlichen Nutzen bringt.

Ein unbekannter Bot bedeutet nicht automatisch, dass er böswillig ist, aber er verdient eine genauere Untersuchung. Das gilt besonders, wenn der Bot „teuer“ ist und viele Ressourcen verbraucht.

Hier ist eine ausgewogene Vorgehensweise, wie du reagieren kannst:

  • Überprüfe seinen User-Agent, seine IP-Adressen, Pfade und sein Anfrageverhalten.
  • Stelle fest, ob es sich um eine Integration handelt, auf die du tatsächlich angewiesen bist.
  • Stelle ihn auf die Probe, wenn du dir unsicher bist.
  • Blockiere ihn, wenn der Traffic eindeutig unerwünscht ist und Probleme verursacht.
  • Beobachte deine Website auf mögliche Probleme (für den Fall, dass sich herausstellt, dass der Bot tatsächlich hinter einem wichtigen Dienst oder einer wichtigen Integration steckt).
  • Achte auf Identitätswechsel oder sich ändernde Anfragemuster.

4. Überwache die Ergebnisse und passe deine Strategie bei Bedarf an

Nachdem du deine Strategie zum Umgang mit Bots umgesetzt hast, ist es wichtig, die Ergebnisse zu überwachen, um sicherzustellen, dass deine Strategie wie beabsichtigt funktioniert.

Achte auf wichtige Daten, darunter Traffic-Analysen, Ressourcenauslastung, Sichtbarkeit in Suchmaschinen, KI-Zitate/Verweise und andere relevante Geschäftskennzahlen.

Hier sind einige konkrete Fragen, auf die du dich bei der Überwachung deiner Website konzentrieren solltest:

  • Hat der unerwünschte Traffic abgenommen?
  • Hat sich die Serverleistung verbessert?
  • Funktionieren legitime Crawler noch?
  • Sind irgendwelche Integrationen ausgefallen?
  • Hast du versehentlich wertvollen Traffic blockiert?

Anhand der Antworten auf diese Fragen kannst du entscheiden, ob du weitere Maßnahmen ergreifen musst:

  • Alles ist in Ordnung: Du kannst deine Regeln so lassen, wie sie sind. Schau weiterhin ab und zu nach, um sicherzustellen, dass sich nichts geändert hat.
  • Es gibt immer noch Probleme mit Bots: Möglicherweise musst du die Regeln deiner Website weiter anpassen, um den Bot-Traffic strenger zu blockieren, zu überprüfen und/oder zu drosseln.
  • Legitime Besucher oder „gute“ Bots haben Probleme: Möglicherweise musst du gezielte Ausnahmen hinzufügen oder die Regeln deiner Website lockern.

Alles zusammenfassen: Eine Checkliste für den Umgang mit Bots

Um das Besprochene noch einmal zusammenzufassen, schließen wir mit einer übersichtlichen Checkliste für den Umgang mit Bots, die du auf deiner Website nutzen kannst.

Im Idealfall kannst du diese Schritte proaktiv umsetzen, bevor Bots zum Problem werden, aber diese Checkliste gilt auch, wenn du auf ein akutes Problem reagieren musst.

Wenn du zum ersten Mal ungewöhnlichen Traffic bemerkst

  • Gibt es auf der Website tatsächlich Leistungsprobleme?
  • Ist der Traffic von Menschen, automatisiert, böswillig oder eine Kombination daraus?
  • Welche URLs erhalten den Traffic?
  • Sind diese URLs zwischengespeichert oder dynamisch generiert?
  • Welche User-Agents, IP-Adressen und Traffic-Arten sind dafür verantwortlich?

Wenn die Website unter Belastung steht

  • Stabilisiere zuerst die Website.
  • Verstärke gegebenenfalls den Bot-Schutz.
  • Überprüfe oder blockiere den Datenverkehr, der das unmittelbare Problem verursacht.
  • Sichere wichtige Crawler und Integrationen, soweit möglich.

Sobald die Website stabil läuft

  • Stelle fest, ob der Datenverkehr einen geschäftlichen Nutzen hat.
  • Überprüfe die Infrastrukturkosten.
  • Entscheide, ob du den Datenverkehr zulassen, hinterfragen oder blockieren willst.
  • Nimm gezielte Änderungen vor.
  • Schütze teure Endgeräte.

Nach dem Vorfall

  • Überwache die Ergebnisse.
  • Passe die Regeln nach Bedarf an, sei es durch Hinzufügen von Ausnahmen, Verschärfen der Regeln usw.
  • Dokumentiere, was passiert ist.
  • Überprüfe die Richtlinie regelmäßig.

Kinsta kann dir bei der neuen Normalität helfen

Bot-Traffic ist mittlerweile ein normaler Bestandteil des Website-Betriebs. Da manche Bots jedoch wichtige Funktionen erfüllen und einen echten Mehrwert für deine Website bieten, ist „alle Bots blockieren“ keine realistische oder wünschenswerte Strategie im Umgang mit Bot-Traffic auf einer Website.

Entwickle stattdessen eine proaktive Strategie, die den Nutzen und die Kosten verschiedener Bots in den unterschiedlichen Bereichen deiner Website berücksichtigt.

Die Tools und Analysen zum Bot-Schutz von Kinsta bieten WordPress-Seitenbetreibern und Agenturen die nötige Transparenz und Kontrolle, um automatisierten Traffic zu verwalten, ohne jeden Bot gleich zu behandeln. Wenn du sie selbst ausprobieren möchtest, informiere dich noch heute über die Hosting-Pakete von Kinsta.

Steve Bonisteel Kinsta

Steve Bonisteel is Technical Editor bij Kinsta. Hij begon zijn schrijverscarrière als verslaggever en achtervolgde ambulances en brandweerwagens. Sinds eind jaren negentig schrijft hij over internetgerelateerde technologie.