Om du har petat runt i WordPress backend kanske du har märkt en inställning som heter ”förhindra sökmotorer från att indexera denna webbplats” och undrat vad det betyder.
Eller kanske letar du efter ett sätt att dölja din webbplats från oönskade besökare och undrar om den här lilla kryssrutan är tillräckligt för att hålla ditt innehåll privat?
Vad betyder det här alternativet? Vad exakt gör det med din webbplats? Och varför borde du undvika att förlita dig på det – även om du försöker dölja ditt innehåll?
Här är svaren och några andra metoder för att sluta indexera din webbplats och blockera åtkomst till vissa sidor.
Kolla in vår videoguide för hur du använder alternativet ”Hindra sökmotorer från att indexera den här webbplatsen” i WordPress
Vad betyder ”förhindra sökmotorer från att indexera denna webbplats”?
Har du någonsin undrat hur sökmotorer indexerar din webbplats och mäter din SEO? De gör det med ett automatiserat program som kallas en spindel, även känd som en robot eller sökrobot. Spindlar genomsöker webben, besöker webbplatser och loggar allt ditt innehåll.
Google använder dem för att bestämma hur de ska ranka och placera din webbplats i sökresultaten, hämta utdrag från dina artiklar till sökresultatsidan och hämta dina bilder till Google Images.
När du kryssar i ”förhindra sökmotorer från att indexera denna webbplats” ändrar WordPress din robots.txt-fil (en fil som ger instruktioner till spindlar om hur de ska genomsöka din webbplats). Det kan också lägga till en metatagg i sidhuvudet som talar om för Google och andra sökmotorer att inte indexera något innehåll på hela webbplatsen.
Det här kommer dock endast att försöka avskräcka dem: sökmotorer har ingen skyldighet att hedra denna begäran, särskilt sökmotorer som inte använder standardsyntaxen robots.txt som Google gör.
Sökrobotar kommer fortfarande att kunna hitta din webbplats, men korrekt konfigurerade sökrobotar kommer att läsa din robots.txt och lämna sidan utan att indexera innehållet eller visa det i sina sökresultat.
Tidigare förhindrade inte det här alternativet i WordPress Google från att visa din webbplats i sökresultaten, bara från att indexera innehållet. Du kan fortfarande se dina sidor i sökresultat med fel som ”ingen information är tillgänglig för den här sidan” eller ”en beskrivning för detta resultat är inte tillgänglig på grund av webbplatsens robots.txt.”
Medan Google inte indexerade sidan gömde de inte sidan helt heller. Denna anomali ledde till att folk kunde besöka sidor som de inte var avsedda att se. Tack vare WordPress 5.3 fungerar det nu korrekt, och blockerar både indexering och listning av webbplatsen.
Du kan föreställa dig hur detta skulle förstöra din SEO om du aktiverat det av en slump. Det är viktigt att använda det här alternativet om du verkligen inte vill att någon ska se ditt innehåll – och ens då kanske det inte är den enda åtgärden du borde ta.
Varför du kanske inte vill indexera din webbplats
Webbplatser görs för att ses av människor. Du vill att användarna ska läsa dina artiklar, köpa dina produkter, konsumera ditt innehåll – varför skulle du avsiktligt försöka blockera sökmotorer?
Det finns några anledningar till att du kanske vill dölja en del eller hela din webbplats.
- Din webbplats är under utveckling och inte redo att ses av allmänheten.
- Du använder WordPress som ett innehållshanteringssystem men vill hålla nämnda innehåll privat.
- Du försöker dölja känslig information.
- Du vill att din webbplats endast ska vara tillgänglig för ett litet antal personer med en länk eller endast genom inbjudningar, inte genom offentliga söksidor.
- Du vill lägga en del innehåll bakom en betalvägg eller annan en port, till exempel exklusiva artiklar för ditt nyhetsbrev.
- Du vill skära av trafiken till gamla, föråldrade artiklar.
- Du vill förhindra att få SEO-påföljder för testsidor eller duplicerat innehåll.
Det finns bättre lösningar för några av dessa – använda en ordentlig offline utvecklingsserver, göra dina artiklar privata, eller gömma dem bakom ett lösenord – men det finns legitima skäl till att du kanske vill avindexera delar eller hela din webbplats.
Så här kontrollerar du om din webbplats blockar sökmotorer
Även om du kan ha legitima skäl att avindexera din webbplats kan det vara en hemsk chock att märka att du har aktiverat den här inställningen oavsiktligt eller låtit den vara på av misstag. Om du får noll trafik och misstänker att din webbplats inte indexeras kan du bekräfta det så här:
Ett enkelt sätt är att kolla Sammanfattnings-rutan på startskärmen i adminpanelen. Logga bara in på din backend och titta i den rutan. Om du ser ”sökmotorer förhindras”, då vet du att du har aktiverat den inställningen.
Ett ännu mer tillförlitligt sätt är att kontrollera din robots.txt. Du kan enkelt verifiera detta i webbläsaren utan att ens logga in på din webbplats.
För att kolla robots.txt behöver du bara lägga till /robots.txt till slutet av din webbplats URL. Till exempel: https://kinsta.com/robots.txt
Om du ser Disallow: / blockeras hela webbplatsen från att indexeras.
Om du ser Disallow: följt av en URL-sökväg, som Disallow: /wp-admin/ betyder det alla webbadresser med /wp-admin/ i sökvägen blockeras. Denna struktur är normal för vissa sidor, men om den till exempel blockerar /blog/ som har sidor du vill indexera kan det orsaka problem!
Nu när WordPress använder metataggar snarare än robots.txt för att avindexera din webbplats bör du även kontrollera ditt sidhuvud för ändringar.
Logga in på din backend och gå till Utseende > Temaredigeraren. Hitta Temats sidhuvud (header.php) och leta efter följande kod:
<meta name='robots' content='noindex,nofollow' />
Du kan också kontrollera functions.php efter noindex-taggen, eftersom det är möjligt att införa kod i sidhuvudet på distans genom den här filen.
Om du hittar den här koden i dina temafiler indexeras inte din webbplats av Google. Men i stället för att ta bort det manuellt, låt oss försöka stänga av den ursprungliga inställningen först.
Så förhindrar du sökmotorer från att indexera i WordPress
Om du vill hoppa över de extra stegen och gå direkt till den ursprungliga inställningen kan du aktivera eller inaktivera alternativet ”förhindra sökmotorer” i WordPress så här:
Logga in på din WordPress-panel och navigera till Inställningar > Läsning. Leta efter alternativet Synlighet för sökmotorer med en kryssruta märkt ”förhindra sökmotorer från att indexera denna webbplats.”
Om du upptäcker att detta redan är på och du vill att din webbplats ska indexeras, avmarkera rutan. Om du ska förhindra att din webbplats indexeras, markera den den(och skriv ner en påminnelse någonstans om att stänga av den senare!).
Klicka nu på Spara Ändringar, och du är klar. Det kan ta lite tid för din webbplats att bli omindexerad eller tas bort från sökresultaten.
Om din webbplats fortfarande inte indexeras kan du också ta bort noindex-koden från din header-fil eller manuellt redigera robots.txt för att ta bort flaggan ”Disallow”.
Det här är enkelt, men vad finns det för anledningar till att undvika det här alternativet, eller åtminstone inte lita helt på det?
Nackdelar med att använda alternativet Förhindra sökmotorer
Det verkar enkelt – markera en kryssruta och ingen kommer att kunna se din webbplats. Räcker inte det? Varför borde du undvika att använda endast det här alternativet?
När du slår på den här inställningen eller ett liknande alternativ lägger det bara till en tagg i ditt sidhuvud eller din robots.txt. I äldre versioner av WordPress kan vi se att de fortfarande tillåter din webbplats att listas i sökresultat, och en liten glitch eller annat fel kan resultera i att folk ser vad du tror är dina dolda sidor.
Dessutom är det helt upp till sökmotorer att hedra begäran att inte genomsöka din webbplats. Stora sökmotorer som Google och Bing brukar göra det, men inte alla sökmotorer använder samma robots.txt-syntax, och inte alla spindlar som genomsöker webben skickas ut av sökmotorer.
En tjänst som använder sig av sökrobotar är till exempel Wayback Machine. Och om ditt innehåll indexeras av en sådan tjänst finns det på webben för alltid.
Du kanske tänker att bara för att din helt nya webbplats inte har några länkar som leder till den är den trygg från spindlar, men det är inte sant. Att finnas på en delad server, skicka ett e-postmeddelande med en länk till din webbplats, eller ens att besöka din webbplats i en webbläsare (särskilt Chrome) kan öppna din webbplats för genomsökning.
Om du vill dölja innehåll är det helt enkelt inte en bra idé att lägga till en parameter och hoppas att det kommer räcka.
Och låt oss vara tydliga, om innehållet du avindexerar är känsligt eller personligt borde du absolut inte lita på robots.txt eller en metatagg för att dölja det.
Sist men inte minst, detta alternativ kommer helt dölja din webbplats från sökmotorer, medan du många gånger bara vill avindexera vissa sidor.
Så vad borde du göra i stället för, eller tillsammans med, den här metoden?
Andra sätt att förhindra sökmotorindexering
Medan det alternativ som tillhandahålls av WordPress brukar räcka, är det för vissa situationer ofta bättre att använda andra metoder för att dölja innehåll. Även Google själva säger att du inte borde använda robots.txt för att dölja sidor.
Så länge din webbplats har ett domännamn och finns på en offentlig server finns det inget sätt att garantera att ditt innehåll inte kommer att ses eller indexeras av sökrobotar om du inte tar bort det eller döljer det bakom ett lösenord eller inloggningskrav.
Som sagt, vilka bättre sätt att dölja din webbplats eller vissa sidor finns det?
Blockera sökmotorer med .htaccess
Medan det fungerar ungefär likadant som att helt enkelt använda alternativet ”Förhindra sökmotorer” kan du manuellt använda .htaccess för att blockera indexering av din webbplats.
Du måste använda ett FTP/SFTP-program för att komma åt din webbplats och öppna .htaccess-filen, som vanligtvis finns i rotmappen (den första mappen du ser när du öppnar din webbplats) eller i public_html. Lägg till den här koden i filen och spara:
Header set X-Robots-Tag "noindex, nofollow"Obs! den här metoden fungerar bara för Apache-servrar. Nginx-servrar, som de vi använder på Kinsta, måste lägga till den här koden till .conf-filen i stället, som kan hittas i /etc/nginx/ (du kan hitta ett exempel på metatagg-användningen här):
add_header X-Robots-Tag "noindex, nofollow";Lösenordskydda känsliga sidor
Om du har vissa artiklar eller sidor som du inte vill att sökmotorer ska indexera är det bäst att dölja dem genom att lösenordskydda din webbplats. På så sätt kan bara du och de användare du väljer se det innehållet.
Lyckligtvis är denna funktionalitet inbyggd i WordPress så det finns ingen anledning att installera några plugin. Bara gå till Inlägg och sidor och klicka på den du vill dölja. Redigera din sida och leta efter Status och synlighet > Synlighet på höger sida.
Om du inte använder Gutenberg ser processen likadan ut. Du hittar samma meny i Publicera-rutan.
Ändra Synlighet till Lösenordskyddad och ange ett lösenord, spara sedan – och ditt innehåll är nu dolt från allmänheten.
Vad gäller om du vill lösenordskydda hela din webbplats? Det är inte praktiskt att kräva ett lösenord för varje enskild sida.
Kinsta-användare har tur: du kan aktivera lösenordsskydd i Webbplatser > Verktyg, som kräver både användarnamn och lösenord.
Annars kan du använda ett innehållsbegränsningsplugin (ex. Password Protected). Installera och aktivera det, gå sedan till Inställningar > Password Protected och aktivera lösenordsskydd-statusen. Detta ger dig mer kontroll, och låter dig också vitlista vissa IP-adresser.
Installera ett WordPress-plugin
När WordPress standardfunktionalitet inte räcker kan ett bra plugin ofta lösa dina problem.
Till exempel, om du vill avindexera specifika sidor snarare än hela din webbplats kan du använda Yoast.
I Yoast SEO kan du öppna en sida som du vill dölja och leta efter alternativet under Avancerat: Tillåt sökmotorer att visa det här inlägget i sökresultat? Ändra det till Nej och sidan kommer att döljas.
Du bör notera att båda dessa är beroende av samma metoder som WordPress standardalternativ för att förhindra sökmotorindexering och är därför föremål för samma brister. Vissa sökmotorer kanske inte hedrar din begäran. Du måste använda andra metoder om du verkligen vill dölja detta innehåll helt.
En annan lösning är att gömma ditt innehåll bakom en betalvägg eller en obligatorisk inloggning. Pluginen Simple Membership eller Ultimate Member kan hjälpa dig att skapa medlemskapsinnehåll som är gratis eller betalt.
Använd en stagingsajt för testning
När du arbetar på testprojekt eller bygger en ny webbplats är det enklast att hålla dem dolda genom att använda en staging- eller utvecklingssajt. Dessa webbplatser är privata, ofta hostade på en lokal maskin som ingen annan än du kan komma åt, tillsammans med personer som fått åtkomst av dig.
Många webbhotell kommer att ge dig stagingsajter som är enkla att få i gång och låter dig överföra dem till din offentliga server när du är redo. Kinsta erbjuder stagingsajter med ett klick WordPress för alla planer.
Du kan komma åt dina stagingsajter i MyKinsta genom att gå till Webbplatser > Info och klicka på Ändra miljö i rullgardinsmenyn. Klicka på Stagingmiljö och sedan Skapa en stagingmiljö. Om några minuter kommer din utvecklingsserver att vara redo för testning.
Om du inte har tillgång till ett enkelt sätt att skapa en stagingsajt kan pluginet WP STAGING hjälpa dig att duplicera din installation och flytta den till en mapp för enkel åtkomst.
Använd Google Search Console för att tillfälligt dölja webbplatser
Google Search Console är en tjänst som låter dig göra anspråk på äganderätten till dina webbplatser. Med detta kommer möjligheten att blockera Google från att indexera vissa sidor tillfälligt.
Den här metoden har ett par problem: det är Google-exklusivt (så webbplatser som Bing kommer inte att påverkas) och det varar bara 6 månader.
Men om du vill ha ett snabbt och enkelt sätt att få bort ditt innehåll från Googles sökresultat tillfälligt, är detta rätta sättet att göra det.
Om du inte redan har gjort det måste du lägga till din webbplats i Google Search Console. Med det gjort, öppna Borttagning och välj Tillfällig borttagning > Ny begäran. Klicka sedan på Ta bara bort den här webbadressen och länka sidan du vill dölja.
Detta är ett ännu mer tillförlitligt sätt att blockera innehåll, men återigen fungerar det uteslutande för Google och varar bara 6 månader.
Sammanfattning
Det finns många anledningar till att du kanske vill dölja innehåll på din webbplats, men att förlita sig på alternativet ”förhindra sökmotorer från att indexera denna webbplats” är inte det bästa sättet att se till att sådant innehåll inte är synligt.
Om du inte vill dölja hela din webbplats från webben bör du aldrig klicka på det här alternativet eftersom det kan göra stora skador på din SEO om det sätts på oavsiktligt.
Och även om du vill dölja din webbplats är det här standardalternativet en opålitlig metod. Det bör paras med lösenordskydd eller annan blockering, särskilt om det handlar om känsligt innehåll.
Använder du några andra metoder för att dölja din webbplats eller delar av den? Låt oss veta i kommentarfältet.
Salman Ravoof är en självlärd webbutvecklare, författare, skapare och en stor beundrare av fri och öppen källkod (FOSS). Förutom teknik är han intresserad av vetenskap, filosofi, fotografi, konst, katter och mat. Lär dig mer om honom på hans hemsida och kontakta Salman på X.
Lämna ett svar