I vårt arbete med WordPress varje dag ser teamet här på Kinsta alla typer av olika fel och varningar som kunderna upplever. Lita på oss, vi har sett allt. När ett fel fortsätter att dyka upp i vårt system ser vi till att dokumentera det så att vi kan dela lösningen med dig. Vad är ett premium-webbhotell bra för om det inte hjälper dig att lösa dina egna problem? Idag dyker vi in i ett Google Search Console-fel som du kanske eller kanske inte har stött på: ”sidan kanske inte renderas korrekt på grund av resurser som blockeras av robotar.txt”.
Oroa dig inte, vi kommer att förklara vad detta innebär och hur du fixar det på din WordPress-sajt.
Blockerade resurser
Om du får en varning eller ett fel om blockerade resurser betyder det vanligtvis att något inte är konfigurerat korrekt på din WordPress-sajt. Det är inte alltid så, men om du ser ett meddelande om något i Google Search Console bör du alltid undersöka det. Google ger dig dessa meddelanden av en anledning. Vår senaste erfarenhet med en obefogad Google-bestraffning bevisar definitivt detta.
Om du inte fick ett meddelande om blockerade resurser kan du alltid kontrollera din webbplats genom att logga in på Google Search Console. Klicka sedan på Google Index → Blockerade Resurser. Som de säger:
Googlebot behöver tillgång till många resurser på din sida för att kunna rendera och indexera sidan optimalt. Till exempel JavaScript, CSS, och bildfiler måste vara tillgängliga för Googlebot så att den kan se sidorna som en genomsnittlig användare skulle se dem.
Dessa resurser från webbhotellet används av din webbplats, men blockeras för Googlebot. Om Googlebot inte kan komma åt viktiga resurser på din sida, kan sidan indexeras felaktigt. (Källa: Blocked Resources Report)
Återigen, bara för att en resurs är blockerad betyder inte alltid att den skadar din webbplats SEO. Men det är bästa praxis att rensa upp dem så att de som påverkar din SEO lättare kan fixas utan att behöva filtrera igenom flera sidor av fel.
Vi älskar att dela levande data med dig. Så i dagens exempel har vi ett problem med flera (400+) blockerade resurs-fel (enligt nedan) på vår egen webbplats.
När du ser fel i avsnittet Blockerade resurser kan du klicka på dem för ytterligare information. Så vi klickar på https://kinsta.com/wp-admin/admin-ajax.php. Filen admin-ajax.php är bara ett exempel på något som kan dyka upp här. Du kan också se fel om att JavaScript och CSS-filer blockeras. Men att fixa dem innebär i allmänhet samma steg.
På sidan ser vi följande fel: ”sidan kanske inte renderas korrekt på grund av resurser som blockeras av https://kinsta.com/robots.txt.”
Deras råd är att uppdatera robots.txt-regeln för att avblockera resursen. Om du aldrig har hört talas om den här filen innan, föreslår vi att du först läser vår djupdykning om robot.txt-filen i WordPress.
Du kan använda Google Fetch-verktyget för att visa sidan som Google ser den. Detta kan hjälpa dig att avgöra om den blockerade resursen påverkar utseendet av din sida. Återigen rekommenderar vi helt enkelt att städa upp alla fel som rapporteras här, om möjligt.
Vi kan se att resursen den klagar över är https://kinsta.com/wp-admin/admin-ajax.php?action=essb_counts&... I vårt fall används AJAX av vårt sociala medie-plugin. Om vi matar in det i Robots Testing-verktyget kan vi se att Google faktiskt inte kan hitta den. Detta beror på att /wp-admin/-katalogen faktiskt är blockerad, som vi kommer att gå in på längre ner.
Yoast SEO har pratat om detta ”blockerade resurser”-problem i ett blogginlägg som innehåller deras robots.txt-fil. I grund och botten, används AJAX (admin-ajax.php) av vissa WordPressteman och plugin för att lägga till innehåll på en sida eller utföra en viss funktion. WordPress brukade faktiskt blockera detta som standard men det fixades i WordPress 4.4 (#33156). Google kan nu genomsöka admin-ajax.php i wp-admin.
Men hur många av er drev er WordPress-sajt innan version 4.4 kom ut? Förmodligen 99% av er. Och som oss har du förmodligen en anpassad robots.txt fil som justerats av dig eller en utvecklare längs vägen som skriver över den nya standarden. Det betyder att varningarna fortfarande visas i Google Search Console om du inte åtgärdar dem. Lösningen är att helt enkelt uppdatera dina robots.txt-fil.
Uppdatera din robots.txt-fil.
WordPress som standard skapar en virtuell robots.txt-fil. Vi rekommenderar dock alltid att du skapar en fysisk en. Inte säker på om du redan har en? Testa att kolla i roten på din WordPress-sajt: https://domain.com/robots.txt. Om det finns en, ser du den här. Om inte får du ett 404-fel.
Vi är stora fans av Yoast SEO här på Kinsta, vi använder det på vår webbplats, och det är främsta SEO-pluginet vi rekommenderar för din WordPress-sajt. Många vet inte att du enkelt kan skapa och redigera din robots.txt direkt från din WordPress-panel med Yoast.
Klicka på SEO → Verktyg. Klicka sedan på ”Filredigerare”. Detta kommer inte att visas om du har filredigering inaktiverat. Om du vill hålla detta inaktiverat kan du skapa/redigera din robots.txt-fil via SFTP.
Om du inte har en fysisk fil kan du klicka på ”Skapa robots.txt-fil”. Detta skapar en fysisk fil på din server.
Om du redan har en robots.txt-fil kan det se ut så här(eller så kan den vara riktigt lång! Vi har sett några galna robots.txt-filer):
User-agent: * Disallow: /wp-admin/
Det finns en till rad vi måste lägga till för att fixa det blockerade resursfelet. Så i vårt exempel lägger vi till följande rad (det här är nu standard robots.txt-konfigurationen när du skapar en fil med Yoast och WordPress på en ny installation):
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Detta gör det möjligt för Google att genomsöka den.
När det gäller själva admin-ajax.php-filen behöver du inte oroa dig för att den av misstag ska dyka upp i Google eller indexeras för om du tittar på filen innehåller den faktiskt följande noindex-sidhuvud.
@header( 'X-Robots-Tag: noindex' );
Den här taggen säger åt Google att inte indexera den.
Om du ser andra typer av blockerade resurser-fel, såsom JavaScript eller CSS är ett snabbt sätt att åtgärda dem att återgå till standardiserade robots.txt-konfigurationen ovan. wp-content/plugins/ och /wp-includes/ är vanliga kataloger vi har sett användare blockera av misstag vilket i sin tur ibland orsakar dessa typer av problem.
Du kan se nedan att efter att ha tillåtit ovanstående fil i vår robots.txt-fil löste sig våra blockerade resurser-fel inom några dagar i Google Search Console.
Sammanfattning
Att fixa fel och varningar i Google Search Console är en viktig del av att korrekt underhålla din WordPress-sajt. Detta bidrar till att Google kan se din webbplats korrekt och indexera den. Nästa gång du stöter på blockerade resurser-fel vet du förhoppningsvis hur du ska felsöka det!
Har du några tankar om blockerade resurser? Har du sett detta på dina egna webbplatser?
Brian har stor passion för WordPress och har använt det i över ett årtionde, han har till och med utvecklat ett par premium-plugins. Brian gillar att blogga, kolla filmer och hiking. Ta kontakt med Brian via Twitter.
Lämna ett svar