Toevoegen als voorkeursbron op Google
Botverkeer neemt een steeds groter deel van het web in en wordt daarmee steeds belangrijker voor iedereen die een website beheert. Dat bleek nog eens toen Kinsta meer dan 10 miljard verzoeken analyseerde, in een jaar waarin AI-botverkeer naar verluidt met zo’n 300% toenam.
Nu geautomatiseerd verkeer blijft groeien, pak je botbeheer waar het kan proactief aan, voordat ongebruikelijke activiteit de prestaties van je site schaadt of te veel resources verbruikt. Dat betekent niet dat je elke bot moet blokkeren. Sommig geautomatiseerd verkeer, zoals zoekcrawlers en monitoringtools, is juist nuttig. Andere bots verbruiken misschien resources zonder echt kwaadaardig te zijn.
Aan de andere kant van het spectrum zit botverkeer dat ernstige prestatie- of beveiligingsproblemen kan veroorzaken. Dat wil je snel stoppen. De kunst is om vast te stellen waar je mee te maken hebt en daar passend op te reageren.
Liever plannen dan alles blokkeren
De beste reactie is niet in paniek raken of alles blokkeren. Volg in plaats daarvan dit herhaalbare proces:
- Beoordeel de impact. Zoek uit wat er gebeurt en welk verkeer daarvoor verantwoordelijk is.
- Stabiliseer de site snel als dat nodig is.
- Stel een beheerplan voor de langere termijn op door te bepalen wat je toestaat, een challenge geeft of blokkeert.
- Houd de resultaten in de gaten, stel bij waar nodig en leg alles vast voor de toekomst.
Hieronder lopen we de stappen een voor een door. Aan het eind vind je een checklist die je kunt gebruiken.
1. Zoek uit wat er gebeurt: is het een probleem met bots of een echte aanval?
Voordat je iets tegen botverkeer onderneemt, wil je eerst weten wat er op je site gebeurt:
- Heeft je site te maken met gewone botproblemen? Die verdienen een proactieve aanpak, maar zijn geen acute noodsituatie.
- Wordt je site actief aangevallen door een kwaadwillende partij? Of is er, ook zonder kwade opzet, een specifiek soort geautomatiseerd verkeer dat te veel resources verbruikt en acute problemen veroorzaakt?
Gaat het om een gerichte aanval of een ander acuut probleem? Zorg dan eerst dat je site zo snel mogelijk weer stabiel is. Verderop leggen we uit hoe je dat doet.
Maar ook als botverkeer op dit moment geen probleem is voor je site, kun je bots beter proactief aanpakken dan reactief. Zo grijp je in voordat ze het legitieme verkeer op je site gaan beïnvloeden.
De botverkeeranalyses van Kinsta helpen je te zien welke soorten bots welke delen van je site bezoeken. Met die inzichten begrijp je wat er speelt en hoe je met de verschillende soorten botverkeer omgaat.
De analyse Breakdown verzoeken verdeelt het verkeer naar je site over deze categorieën:
- Waarschijnlijk mensen
- Geverifieerde bots (geverifieerd door Cloudflare)
- Waarschijnlijk bots
- AI crawlers
- Agressieve AI-crawlers
- Ongeclassificeerd verkeer
- Geautomatiseerd verkeer
- Kwaadaardig verkeer
- Custom regels die Kinsta voor je site heeft ingesteld
- WP automatiseringen
Scrol je omlaag naar het vak Top verkeer, dan zie je per soort verkeer de meest voorkomende paden, user agents, landen en IP-adressen.
Zo zie je welke soorten bots, en zelfs welke specifieke bots, welke delen van je site bezoeken. Bepaal aan de hand daarvan of je site legitiem botverkeer ontvangt of dat er sprake is van een kwaadaardige aanval.
Staat de site onder druk?
Of je site onder druk staat, is een van de belangrijkste factoren om in te schatten hoe ernstig de situatie is.
Kijk of een van de volgende dingen speelt:
- Tragere laadtijden of foutmeldingen
- Hoger gebruik van server, PHP of database
- Verkeerspieken die niet overeenkomen met legitieme bezoekers of statistieken
- Grote aantallen verzoeken naar dezelfde URL’s
Zie je deze problemen, dan staat je site waarschijnlijk op zijn minst enigszins onder druk. Dat is belangrijk om te weten, want deze problemen gaan ten koste van legitiem verkeer. Stabiliseer de site dus snel.
2. Stabiliseer de site als dat nodig is
Hebben legitieme bezoekers al last? Dan hoef je niet eerst een volledig onderzoek af te ronden voordat je ingrijpt. Stabiliseer de site eerst, zodat die weer werkt voor legitieme bezoekers. Verfijn daarna je regels, zodra de directe druk onder controle is.
Heeft je site op dit moment geen problemen en pak je botverkeer alleen proactief aan? Dan kun je doorscrollen naar een uitgebreidere aanpak voor botverkeer.
Overweeg bij acute problemen die direct om stabilisatie vragen het volgende:
- Verhoog tijdelijk de botbescherming. Met tools zoals Kinsta Botbescherming bescherm je je site snel tegen bots.
- Blokkeer duidelijk misbruikend verkeer. Zo houd je de ergste boosdoeners tegen voordat ze je site bereiken.
- Geef verdacht verkeer een challenge. Twijfel je over bepaald verkeer, dan kun je een challenge toevoegen om zeker te weten dat het legitiem is. In het volgende deel leggen we uit wat een “challenge” precies inhoudt.
- Zorg dat belangrijke crawlers en integraties toegang houden. Zo voorkom je dat essentiële websitefuncties en bedrijfsstatistieken (zoals je posities in Google) eronder lijden.
Met Kinsta Botbescherming stabiliseer je je site snel, terwijl je de flexibiliteit houdt om een strategie op te bouwen die precies op die site is afgestemd.
Kinsta blokkeert verkeer dat als kwaadaardig is aangemerkt al via de standaardbeveiliging. Strengere niveaus van botbescherming helpen ook bij geautomatiseerd verkeer dat niet per se als kwaadaardig is aangemerkt.
Je kunt bijvoorbeeld alle niet-geverifieerde bots een challenge geven, of iedereen.
Op de lange termijn is deze aanpak agressiever dan de meeste sites nodig hebben. Toch is het een prima manier om je site snel te stabiliseren en de situatie onder controle te krijgen, terwijl je een verfijndere strategie uitwerkt.
3. Bepaal wat je toestaat, een challenge geeft of blokkeert
Weet je zeker dat je site stabiel is? Dan kun je een strategie voor de langere termijn uitwerken om botverkeer aan te pakken.
Die strategie bouw je op door per soort bot te kiezen of je die toestaat, een challenge geeft of blokkeert.
Dit betekenen die termen:
- Toestaan: het verzoek krijgt toegang tot je site.
- Challenge geven: het verzoek moet een extra verificatiestap doorlopen voordat het toegang krijgt tot de site. Bij Kinsta krijgt een bezoeker die de challenge doorstaat over het algemeen minstens 10 dagen geen nieuwe challenge, zolang hij dezelfde browser en hetzelfde IP-adres gebruikt.
- Blokkeren: het verzoek krijgt geen toegang tot je site.
Weeg bij de keuze tussen toestaan, een challenge geven of blokkeren de volgende vragen af:
- Heeft de bot enige waarde? Zoekmachinecrawlers zorgen er bijvoorbeeld voor dat je site verkeer krijgt via organische zoekresultaten, en sommige AI-crawlers kunnen bijdragen aan zichtbaarheid of vermeldingen in AI-antwoorden. Een scraper die geen verkeer naar je site stuurt, levert daarentegen misschien helemaal niets op.
- Hoeveel kost het botverkeer je? Breng in kaart wat het botverkeer je kost aan serverresources (rekenkracht, bandbreedte en databasequery’s) en aan prestaties voor legitieme bezoekers. Niet elk verzoek is even zwaar. Een bot die een blogartikel uit de cache opvraagt, “kost” meestal veel minder dan een bot die een dynamische pagina opvraagt (zoals de WooCommerce winkelwagen).
- Wat gebeurt er als je de bot blokkeert? Denk na over de gevolgen. Blokkeer je bijvoorbeeld Googlebot, dan kan Google je content mogelijk niet goed crawlen en indexeren. Dat kan je zichtbaarheid in Google Search ernstig schaden. Veel andere bots kun je daarentegen blokkeren zonder gevolgen voor je site.
Zo kunnen die vragen in de praktijk uitpakken:
- Toestaan: overweeg dit als het verkeer legitiem en waardevol is.
- Blokkeren: overweeg dit als het verkeer duidelijk ongewenst of misbruikend is, of onevenredig hoge kosten veroorzaakt.
- Challenge geven: overweeg dit als niet duidelijk is wat de juiste reactie is.
Belangrijk: je hoeft deze regels niet overal op je site toe te passen. Misschien wil je een bepaalde categorie bots toegang geven tot de ene content, maar ze een challenge geven of blokkeren bij andere content.
Kinsta Botbescherming helpt je om deze flexibele botregels in te stellen, met uitzonderingen op basis van IP-adres, pad, user agent of land.
Tips voor specifieke scenario’s met botverkeer
Om te laten zien hoe je deze kaders op een WordPress website toepast, bekijken we een paar veelvoorkomende botscenario’s en hoe je daarop kunt reageren.
Dit is geen volledige lijst van alle mogelijke situaties. Het zijn simpelweg een paar veelvoorkomende voorbeelden die laten zien hoe deze principes op een echte website kunnen werken.
Een zoekmachinecrawler genereert veel verkeer
Genereert een zoekcrawler veel verzoeken en maak je je zorgen over de serverbelasting? Zo kun je het aanpakken.
Beantwoord eerst de volgende vragen:
- Welke URL’s worden gecrawld?
- Komt de crawler op nuttige, indexeerbare content terecht?
- Loopt hij vast in parameters, filters of dynamische endpoints? Kortom: URL’s die niet geïndexeerd zouden moeten worden.
- Gaan de prestaties voor legitieme bezoekers er echt onder lijden?
Op basis van die antwoorden kun je zo reageren:
- Blokkeer de crawler niet automatisch. Onderzoek crawlproblemen en inefficiënties in plaats van de hele crawler te blokkeren.
- Zorg vooral dat de crawler toegang houdt tot waardevolle, indexeerbare content.
- Beperk of ontmoedig het crawlen van overbodige dynamische URL-varianten.
AI-crawlers verbruiken veel resources
AI-crawlers kunnen veel verzoeken genereren, maar of ze ook echt waarde opleveren, is soms lastig te beoordelen.
Deze vragen helpen je om dat uit te zoeken:
- Vind je zichtbaarheid en vermeldingen in AI belangrijk?
- Levert de crawler zinvol verwijzingsverkeer op?
- Verzamelt hij vooral content zonder duidelijk voordeel? Er is een verschil tussen gratis helpen een AI-model te trainen en je zichtbaarheid of vermeldingen in AI vergroten.
- Verbruikt het verkeer veel resources van je infrastructuur?
Je hoeft niet alle AI-crawlers hetzelfde te behandelen. Misschien merk je dat sommige crawlers meer waarde bieden dan andere. Daar kun je in je aanpak dan rekening mee houden. Met de botbeschermingstools van Kinsta kun je aparte regels instellen voor verschillende crawlers.
Heb je die vragen beantwoord, dan kun je bijvoorbeeld zo reageren:
- Sta waardevolle AI-crawlers toe als hun toegang past bij je doelen.
- Geef agressieve crawlers een challenge of beperk ze.
- Blokkeer AI-crawlers als het verkeer weinig oplevert en flink wat resources kost.
Bots bezoeken dure dynamische endpoints
Botbezoeken aan dynamische endpoints kunnen aanzienlijk meer resources verbruiken dan bezoeken aan statische pagina’s uit de cache.
Denk bij WordPress aan pagina’s zoals winkelwagens, afrekenpagina’s, zoekresultaten, inlogpagina’s enzovoort. Dit komt vaak voor bij WooCommerce winkels, maar ook andere soorten sites hebben ermee te maken.
Dit botverkeer is niet per se kwaadaardig, maar wel om verschillende redenen problematisch:
- Verzoeken kunnen de cache omzeilen.
- Er is PHP verwerking nodig.
- Er kunnen databasequery’s draaien.
- Legitieme klanten concurreren om dezelfde resources.
Krijg je met dit soort verzoeken te maken, dan kun je het volgende doen:
- Bescherm specifiek de dure endpoints.
- Voorkom onnodige crawlertoegang tot winkelwagen- en afrekenfunctionaliteit.
- Blokkeer zoekcrawlers niet voor de hele site, want meestal wil je nog steeds dat ze bij je andere content kunnen.
- Onderzoek of er sprake is van wildgroei aan URL-parameters en crawlloops.
- Houd de serverprestaties in de gaten nadat je de wijziging hebt doorgevoerd.
Een onbekende scraper crawlt duizenden URL’s
Soms krijg je te maken met een onbekende bot die agressief crawlt en geen duidelijke waarde voor je site oplevert.
Een onbekende bot betekent niet automatisch dat er iets kwaadaardigs aan de hand is, maar het is wel de moeite waard om het nader te onderzoeken. Zeker als de bot “duur” is en veel resources verbruikt.
Een evenwichtige manier om hierop te reageren:
- Controleer de user agent, IP-adressen, paden en het verzoekgedrag.
- Ga na of het een integratie is waar je echt van afhankelijk bent.
- Geef hem een challenge als je twijfelt.
- Blokkeer hem als het verkeer duidelijk ongewenst is en problemen veroorzaakt.
- Houd je site in de gaten op eventuele problemen (voor het geval de bot toch bij een belangrijke dienst of integratie blijkt te horen).
- Let op wisselende identiteiten of veranderende verzoekpatronen.
4. Houd de resultaten in de gaten en stel bij waar nodig
Heb je je strategie voor botverkeer ingevoerd? Houd dan de resultaten in de gaten, zodat je zeker weet dat de strategie werkt zoals bedoeld.
Let op belangrijke data, zoals verkeersanalyses, resourcegebruik, zichtbaarheid in zoekmachines, vermeldingen en doorverwijzingen vanuit AI en andere relevante bedrijfsstatistieken.
Een paar concrete vragen om op te letten als je je site monitort:
- Is het ongewenste verkeer afgenomen?
- Zijn de serverprestaties verbeterd?
- Werken legitieme crawlers nog steeds?
- Zijn er integraties kapotgegaan?
- Heb je per ongeluk waardevol verkeer geblokkeerd?
Op basis van de antwoorden bepaal je of er extra maatregelen nodig zijn:
- Alles is in orde: je kunt je regels laten zoals ze zijn. Kijk wel af en toe even of er niets is veranderd.
- Nog steeds last van bots: misschien moet je de regels van je site verder aanscherpen, met strenger blokkeren, meer challenges en/of rate limiting van botverkeer.
- Legitieme bezoekers of “goede” bots ondervinden problemen: misschien moet je gerichte uitzonderingen toevoegen of de regels van je site wat soepeler maken.
Alles op een rijtje: een checklist voor botverkeer
Om samen te vatten wat we hebben besproken, sluiten we af met een overzichtelijke checklist waarmee je bots op je site aanpakt.
Idealiter zet je deze stappen proactief in, voordat bots een probleem worden. Maar de checklist werkt ook als je op een acuut probleem reageert.
Wanneer je voor het eerst ongebruikelijk verkeer opmerkt
- Heeft de site daadwerkelijk last van prestatieproblemen?
- Is het verkeer menselijk, geautomatiseerd, kwaadaardig of een combinatie daarvan?
- Naar welke URL’s gaat het verkeer?
- Komen die URL’s uit de cache of worden ze dynamisch gegenereerd?
- Welke user agents, IP-adressen en soorten verkeer zijn hiervoor verantwoordelijk?
Als de site onder druk staat
- Zorg eerst dat de site weer stabiel is.
- Verhoog de botbescherming als dat nodig is.
- Geef het verkeer dat het directe probleem veroorzaakt een challenge, of blokkeer het.
- Zorg dat essentiële crawlers en integraties zo veel mogelijk blijven werken.
Zodra de site stabiel is
- Ga na of het verkeer zakelijke waarde oplevert.
- Bekijk wat het kost aan infrastructuur.
- Bepaal of je het toestaat, een challenge geeft of blokkeert.
- Breng gerichte wijzigingen aan.
- Bescherm dure endpoints.
Na het incident
- Houd de resultaten in de gaten.
- Pas de regels aan waar nodig, bijvoorbeeld door uitzonderingen toe te voegen of regels strenger te maken.
- Leg vast wat er is gebeurd.
- Evalueer het beleid regelmatig.
Kinsta helpt je met het nieuwe normaal
Botverkeer is tegenwoordig een normaal onderdeel van het beheren van een website. Sommige bots spelen een essentiële rol en voegen echte waarde toe aan je site. Daarom is “alle bots blokkeren” geen realistische of wenselijke strategie.
Ontwikkel in plaats daarvan een proactieve strategie die rekening houdt met de waarde en de kosten van verschillende bots op verschillende delen van je site.
De tools en analyses van Kinsta Botbescherming geven eigenaren van WordPress sites en bureaus het inzicht en de controle om geautomatiseerd verkeer te beheren, zonder elke bot over één kam te scheren. Wil je ze zelf uitproberen? Lees dan meer over de hostingpakketten van Kinsta.
Steve Bonisteel is Technical Editor bij Kinsta. Hij begon zijn schrijverscarrière als verslaggever en achtervolgde ambulances en brandweerwagens. Sinds eind jaren negentig schrijft hij over internetgerelateerde technologie.
