Als het resourceverbruik op je website begint te stijgen zonder dat het aantal bezoekers evenredig toeneemt, is botverkeer waarschijnlijk de oorzaak. Bots die niet-cachebare endpoints aanroepen, zoals winkelwagenacties, gefilterde productpagina’s en zoekopdrachten, zorgen er bij elk verzoek voor dat PHP-code wordt uitgevoerd en databasequery’s worden gedaan. De paginacache krijgt daardoor nooit de kans om dit op te vangen.
Je eerste reactie is misschien om al het geautomatiseerde verkeer te blokkeren, maar Googlebot, Bingbot, RSS-lezers en uptime-monitors vallen in dezelfde categorie als de bots die je juist wilt tegenhouden. Als je alles blokkeert, haal je ook het verkeer weg dat ervoor zorgt dat je sites vindbaar blijven en goed blijven werken.
Met Kinsta’s Botbescherming filter je verzoeken die resources kosten zonder iets op te leveren eruit, en laat je de verzoeken die er toe doen gewoon door. Deze instellingen werken op infrastructuurniveau, wat betekent dat het filteren plaatsvindt voordat verzoeken je WordPress-site bereiken.
Waarom het volledig blokkeren van verkeer niet de oplossing is
Al het geautomatiseerde verkeer volledig blokkeren is in theorie een geldige tactiek om verspilde bandbreedte tegen te gaan. Maar hierdoor verwijder je ook het verkeer waar je juist van afhankelijk bent. Harde blocks zorgen er bijvoorbeeld voor dat Googlebot en Bingbot je content niet kunnen crawlen, dat uptime-monitoringtools niet meer doen wat je van ze verwacht, en dat API-integraties die de workflows van je klanten aan WordPress koppelen, niet meer werken.
Het verkeer dat het blokkeren wél waard is, vormt een specifieke subgroep: niet-geverifieerde bots en automatisering die niet-cachebare endpoints. Deze dragen in veel gevallen niet bij aan SEO, gebruikerservaring of omzet.
Dit is echter typisch gedrag voor veel bot-gebaseerde activiteiten, aldus David Belson, voormalig hoofd Data Insights bij Cloudflare:
Het meeste van wat we zien is niet kwaadaardig. Het zijn bots die op grote schaal inefficiënt werken, en daar beginnen de echte problemen.
Een bot die URL-variaties volgt, herkent niet dat hij in een loop zit. Stel je voor dat elke productfilter, query-string of winkelwagenparameter als een aparte pagina wordt behandeld. Onze eigen infrastructuurgegevens registreerden 550 miljoen verzoeken die binnen 30 dagen door één enkele detectieregel voor lussen werden gefilterd. Een server verwerkt elk verzoek als echt werk, ongeacht de intentie.
De beveiliging op platformniveau van Kinsta pakt de meest voor de hand liggende bedreigingen al aan door verkeer dat als kwaadaardig wordt aangemerkt te blokkeren voordat het je site bereikt. Denk aan DDoS-beperking en verzoeken van IP-adressen die vaak in verband worden gebracht met aanvallen. Tussen deze basisbeveiliging en het verkeer dat je wél wilt doorlaten, zit echter nog een tussenlaag van beveiliging tegen niet-geverifieerde en ongewenste bots.
Door het resterende geautomatiseerde verkeer selectief te filteren, voorkom je dat het resourceverbruik stijgt terwijl het aantal bezoekers gelijk blijft. Juist dit patroon herkennen veel bureaus die WordPress-hosting voor meerdere klanten beheren als een teken dat de door bots veroorzaakte belasting de drempel heeft overschreden van wat de standaardbeveiligingslaag alleen aankan.
Inzicht in het verkeer dat je daadwerkelijk beheert
Kinsta classificeert elk verzoek aan de hand van een combinatie van zijn eigen verkeersanalyse en het machine learning-systeem van Cloudflare, dat elke bezoeker een botscore toekent van 1 tot 99. Een score van 99 geeft aan dat het verzoek hoogstwaarschijnlijk van een mens afkomstig is; een score van 1 bevestigt geautomatiseerde activiteit.
Er zijn vijf categorieën die van belang zijn voor beschermingsbeslissingen:
- Geverifieerde bots zijn geautomatiseerd verkeer van erkende organisaties, waaronder Googlebot, Bingbot en andere diensten die in de lijst met geverifieerde bots van Cloudflare staan. Deze worden op elk beveiligingsniveau doorgelaten, ongeacht je instellingen.
- Waarschijnlijke mensen scoren tussen de 30 en 99 en zijn echte bezoekers met normaal surfgedrag.
- Waarschijnlijke bots scoren tussen 2 en 29 en vertegenwoordigen niet-geverifieerde automatisering die als waarschijnlijke botactiviteit wordt gedetecteerd.
- Geautomatiseerd verkeer heeft een score van 1 en omvat bevestigde bots, maar ook tools die programmatisch verbinding maken met je site zonder geverifieerde identiteit, zoals aangepaste integraties, implementatiescripts en zelfgehoste uptime-monitors.
- AI-crawlers met een te hoge frequentie zijn AI-bots die belasting veroorzaken door veelvuldige of herhaalde verzoeken.
Twee andere categorieën zijn het vermelden waard. Kwaadaardig verkeer wordt automatisch geblokkeerd op elk beveiligingsniveau, zonder dat je iets hoeft in te stellen. Daarnaast is er niet-geclassificeerd verkeer: doorgaans heel kleine, onschadelijke hoeveelheden, meestal bestaande uit interne serviceverzoeken die geen invloed hebben op de oorspronkelijke server, zoals verzoeken die worden gegenereerd wanneer je site een foutpagina teruggeeft.
Hoe je je resourceverbruik in kaart brengt met MyKinsta
Begrijpen welke categorie verkeer achter je resourceverbruik zit, is je eerste stap. Het overzicht Bot- en geautomatiseerd verkeer in MyKinsta laat zien hoe verzoeken die je site bereiken worden geclassificeerd, zodat je makkelijker kunt zien wanneer geautomatiseerd verkeer bijdraagt aan een hogere belasting.
Je vindt deze gegevens via Sites > sitenaam > Analytics > Bot- en geautomatiseerd verkeer.
Deze weergave deelt het verkeer op in categorieën: geverifieerde bots, waarschijnlijke bots, AI-crawlers, agressieve crawlers, geautomatiseerd verkeer en waarschijnlijke mensen. In plaats van botactiviteit indirect af te leiden uit bandbreedte of bezoekersaantallen alleen, zie je hoeveel geautomatiseerd verkeer je site daadwerkelijk bereikt en hoe Kinsta dit classificeert.
Pieken in agressieve crawlers of geautomatiseerd verkeer duiden er bijvoorbeeld vaak op dat bots herhaaldelijk niet-gecachete endpoints benaderen. Een hoog volume aan AI-crawlerverkeer kan ook een verklaring zijn voor onverwachte bandbreedtegroei of een hogere belasting van de origin-server, zelfs als het menselijke verkeer relatief stabiel blijft.
De grafiek met de resultaten van de botbescherming laat ook zien hoe verzoeken na classificatie worden afgehandeld, inclusief verkeer dat werd toegestaan, gecontroleerd of geblokkeerd. Dit geeft je een duidelijker beeld van hoe je beveiligingsinstellingen het inkomende verkeer beïnvloeden, voordat je de beveiligingsniveaus aanpast.
Het rapport Topverzoeken op basis van weergaven in Analytics helpt je ook te achterhalen welke endpoints de meeste verzoeken ontvangen. Een cluster van herhaalde verzoeken naar niet-cachebare paden, zoals URL’s voor ’toevoegen aan winkelwagen’, gefilterde productpagina’s, zoekopdrachten en afrekenpagina’s, duidt er doorgaans op dat bots server-resources verbruiken die de cache niet kan opvangen.
Samen bieden deze analyses de duidelijkste manier om verkeerspatronen te koppelen aan resourceverbruik, voordat je beslist welk beveiligingsniveau je wilt toepassen.
Hoe de botbescherming van Kinsta werkt
De instellingen voor botbescherming in MyKinsta werken op infrastructuurniveau. Het filteren vindt plaats voordat verzoeken het PHP- of databaseniveau bereiken, zodat de vermindering van de serverbelasting geldt voor de volledige kosten van het verzoek. Je hebt er geen plugin voor nodig en hoeft geen configuratiewijzigingen in WordPress door te voeren.
Kinsta classificeert inkomend verkeer met een combinatie van zijn eigen verkeersanalyse en het botdetectiesysteem van Cloudflare op enterprise-niveau. Verzoeken worden ingedeeld in verkeersgroepen zoals geverifieerde bots, vermoedelijke bots, AI-crawlers, agressieve crawlers, geautomatiseerd verkeer en vermoedelijke mensen. Het door jou gekozen beveiligingsniveau bepaalt vervolgens hoe elke categorie wordt behandeld.
Alle instellingen voor botbescherming vind je onder Sites > sitenaam > Botbescherming.
De pagina Botbescherming bestaat uit vier hoofdonderdelen:
- Beveiligingsniveaus die bepalen of verkeer wordt toegestaan, gecontroleerd of geblokkeerd.
- Een aparte schakelaar om AI-crawlers te blokkeren.
- Instellingen om typische WordPress-automatiseringen toe te staan voor veelgebruikte WordPress-API’s en achtergrondfuncties.
- Altijd toestaan, uitzonderingen voor betrouwbare verkeersbronnen.
Als onderdeel van Kinsta’s Cloudflare-integratie is de onderliggende infrastructuur voor het beoordelen en verifiëren van bots standaard van zakelijke kwaliteit.
Een beveiligingsniveau kiezen
Je kunt kiezen uit vier niveaus in het panel Beveiligingsniveau op de pagina Botbescherming:
- Blokkeer kwaadaardig verkeer is de standaardinstelling op elke Kinsta-site. Dit zorgt voor DDoS-beperking en blokkeert verkeer van IP-adressen en endpoints die vaak doelwit zijn van aanvallen.
- Blokkeer automatiseringen breidt de standaardoptie uit om ook bevestigd geautomatiseerd verkeer te blokkeren, terwijl menselijke bezoekers en waarschijnlijk menselijke bezoekers ongemoeid worden gelaten.
- Daag bots uit blokkeert geautomatiseerd en kwaadaardig verkeer en voegt een verificatiestap toe voor vermoedelijke bots. Bezoekers die slagen, worden gedurende tien dagen niet opnieuw uitgedaagd op dezelfde browser en hetzelfde IP-adres. Houd er rekening mee dat CAPTCHA-uitdagingen lastig kunnen zijn voor bezoekers die ondersteunende technologieën gebruiken; denk hier vooral aan als de site toegankelijkheidsvereisten heeft.
- Geef iedereen een challenge past uitdagingen ook toe op vermoedelijke mensen, waardoor deze optie meer geschikt is voor kortdurend gebruik tijdens een verkeerspiek dan als permanente instelling.
Om het niveau te wijzigen, ga je naar Sites > sitenaam > Botbescherming en klik je op de knop Wijzigen. Een wijziging voor meerdere sites tegelijk voer je door via Sites, de relevante sites selecteren en vervolgens Acties > Botbescherming wijzigen.
Als je het niveau verhoogt naar Daag bots uit of hoger, kan dit gevolgen hebben voor tools die programmatisch verbinding maken met je site. Elke dienst die niet in de geverifieerde bot-directory van Cloudflare staat, wordt op deze niveaus geblokkeerd of uitgedaagd.
Typische WordPress-automatiseringen toestaan
Sommige WordPress-functies zijn afhankelijk van geautomatiseerde verzoeken om normaal te werken, zoals de WordPress REST API, geplande achtergrondtaken, plugin-integraties, SEO-tools, formulieren, koppelingen met analyseprogramma’s en synchronisatiediensten.
De instelling ‘Typische WordPress-automatiseringen toestaan’ helpt deze gangbare WordPress-workflows in stand te houden, terwijl ongewenst geautomatiseerd verkeer toch wordt gefilterd. Dit verkleint het risico dat legitieme functionaliteit wordt geblokkeerd bij het gebruik van strengere beveiligingsniveaus.
Als je site afhankelijk is van aangepaste integraties of diensten van derden, is het alsnog verstandig om kritieke functionaliteit te testen nadat je strengere beveiligingsinstellingen hebt ingeschakeld.
AI-crawlers blokkeren
De schakelaar AI-crawlers blokkeren richt zich op AI-crawlers die content verzamelen voor het trainen van modellen, retrieval-augmented generation en AI-aangedreven zoekfuncties. Deze schakelaar blokkeert dergelijke crawlers, inclusief geverifieerde zoals GPTBot, maar heeft geen invloed op crawlers van zoekmachines. Googlebot en Bingbot blijven je site crawlen en indexeren, ongeacht of de schakelaar aan of uit staat.
Om deze feature in te schakelen, ga je naar Sites > sitenaam > Botbescherming en klik je op de schuifknop naast AI-crawlers blokkeren. Voor meerdere sites gebruik je Acties > AI-crawlerblokkering wijzigen vanuit het overzicht Sites.
Voor sites waarbij je op basis van je analysegegevens vermoedt dat het volume aan AI-crawlers invloed heeft, verwijdert de schakelaar deze crawlers zonder dat dit ten koste gaat van de traditionele zichtbaarheid in zoekmachines. Het nadeel is wel dat je minder zichtbaar bent in AI-gegenereerde overzichten en contentsamenvattingen.
Crawlers die door deze schakelaar worden geblokkeerd, voeden de systemen die content weergeven in door AI gegenereerde antwoorden en aanbevelingen. Voor contentstrategieën die op deze zichtbaarheid rekenen, is het verstandig om de impact te monitoren voordat je de schakelaar permanent ingeschakeld laat staan.
Uitzonderingen maken met ‘Altijd toestaan’
In het gedeelte ‘Altijd toestaan’ stel je uitzonderingen in voor verkeer dat nooit door Bot Protection mag worden geblokkeerd of gecontroleerd.
Dit is handig voor vertrouwde integraties, monitoringdiensten, deploymentsystemen, interne API’s of specifieke bezoekers die ononderbroken toegang tot je site nodig hebben.
Je kunt uitzonderingen instellen op basis van:
- IP-adressen of IP-ranges
- Paden of endpoints
- User agents
Je kunt bijvoorbeeld een monitoringdienst op de allowlist zetten, een aangepast API-endpoint vrijstellen van verificatie, of ervoor zorgen dat een deploymentworkflows normaal blijft werken onder strengere beveiligingsniveaus.
Omdat uitzonderingen worden toegepast voordat beveiligingsregels worden afgedwongen, gebruik je ze zorgvuldig en controleer je ze regelmatig om te voorkomen dat je onbedoeld de beveiligingsmaatregelen omzeilt.
Stop met het toewijzen van bandbreedte aan verkeer dat niets oplevert
Onbeheerd botverkeer veroorzaakt serverbelasting die niet door code-optimalisatie kan worden opgevangen, omdat het binnenkomt voordat de cache het kan verwerken. Bij elk verzoek verbruikt dit verkeer PHP-threads en databaseverbindingen.
De oplossing is niet om alle automatisering te blokkeren, maar om selectief het verkeer te filteren dat resources verspilt, terwijl je de bots en diensten toestaat waar je site van afhankelijk is.
Als je meer controle wilt over hoe geautomatiseerd verkeer op je site wordt afgehandeld, biedt Kinsta’s Botbescherming de tools om ongewenst verkeer rechtstreeks vanuit MyKinsta te monitoren, classificeren, controleren en blokkeren.
