Wenn du im WordPress Backend herumgestöbert hast, ist dir vielleicht eine Einstellung aufgefallen, die besagt „Suchmaschinen davon abhalten, diese Webseite zu indexieren“ und du hast dich gefragt, was es bedeutet.
Oder vielleicht suchst du nach einer Möglichkeit, deine Webseite vor unerwünschten Besuchern zu verstecken und fragst dich, ob diese kleine Checkbox ausreicht, um deine Inhalte sicher zu schützen.
Was bedeutet diese Option? Was genau bewirkt sie auf deiner Webseite? Und warum solltest du es vermeiden, dich darauf zu verlassen – selbst wenn du versuchst, deine Inhalte zu verstecken?
Hier sind die Antworten und ein paar andere Methoden, um deine Webseite zu deindexieren und den Zugriff auf bestimmte Seiten zu blockieren.
Sieh dir unsere Videoanleitung zur Verwendung der Option „Suchmaschinen von der Indizierung dieser Seite abhalten“ in WordPress an
Was bedeutet „Suchmaschinen von der Indexierung dieser Webseite abhalten“?
Hast du dich jemals gefragt, wie Suchmaschinen deine Webseite indexieren und dein SEO bewerten? Sie tun es mit einem automatisierten Programm namens Spider, auch bekannt als Robot oder Crawler. Spider „crawlen“ das Web, besuchen Webseiten und protokollieren alle deine Inhalte.
Google nutzt sie, um zu entscheiden, wie deine Webseite in den Suchergebnissen platziert werden soll, um Textpassagen aus deinen Artikeln für die Suchergebnisseite zu übernehmen und um deine Bilder in Google Images einzupflegen.
Wenn du das Häkchen bei „Suchmaschinen davon abhalten, diese Webseite zu indexieren“ setzt, ändert WordPress deine robots.txt-Datei (eine Datei, die den Spidern Anweisungen gibt, wie sie deine Webseite crawlen sollen). Es kann auch einen Meta-Tag in den Header deiner Webseite einfügen, der Google und anderen Suchmaschinen sagt, dass sie keine Inhalte auf deiner gesamten Webseite indexieren sollen.
Das Schlüsselwort hier ist „entmutigen“: Suchmaschinen sind nicht verpflichtet, diese Aufforderung zu befolgen, insbesondere Suchmaschinen, die nicht die Standard robots.txt Syntax verwenden, wie es Google tut.
Webcrawler werden deine Webseite immer noch finden können, aber richtig konfigurierte Crawler werden deine robots.txt lesen und die Seite verlassen, ohne den Inhalt zu indexieren oder in ihren Suchergebnissen anzuzeigen.
In der Vergangenheit hat diese Option in WordPress Google nicht davon abgehalten, deine Webseite in den Suchergebnissen anzuzeigen, sondern nur davon, ihren Inhalt zu indexieren. Du konntest immer noch sehen, dass deine Seiten in den Suchergebnissen mit einem Fehler wie „Für diese Seite sind keine Informationen verfügbar“ oder „Eine Beschreibung für dieses Ergebnis ist aufgrund der robots.txt der Webseite nicht verfügbar.“ angezeigt wurden.
Während Google die Seite nicht indexiert hat, haben sie die Seite auch nicht komplett versteckt. Diese Anomalie führte dazu, dass Leute Seiten besuchen konnten, die sie nicht sehen sollten. Dank WordPress 5.3 funktioniert es jetzt richtig und blockiert sowohl die Indexierung als auch die Auflistung der Webseite.
Du kannst dir vorstellen, wie dies dein SEO zerstören würde, wenn du es versehentlich aktivierst. Es ist kritisch, diese Option nur zu nutzen, wenn du wirklich nicht willst, dass jemand deine Inhalte sieht – und selbst dann ist es vielleicht nicht die einzige Maßnahme, die du ergreifen willst.
Warum du deine Webseite vielleicht nicht indexieren solltest
Webseiten sind dafür gemacht, von Menschen gesehen zu werden. Du willst, dass Nutzer deine Artikel lesen, deine Produkte kaufen, deine Inhalte konsumieren – warum solltest du absichtlich versuchen, Suchmaschinen zu blockieren?
Es gibt ein paar Gründe, warum du einen Teil oder deine gesamte Webseite ausblenden möchtest.
- Deine Webseite befindet sich in der Entwicklung und ist noch nicht vollständig für die Öffentlichkeit gedacht.
- Du verwendest WordPress als Content Management System, möchtest aber die Inhalte privat halten.
- Du versuchst, sensible Informationen zu verstecken.
- Du möchtest, dass deine Webseite nur für eine kleine Anzahl von Leuten über einen Link oder über Einladungen zugänglich ist, nicht über öffentliche Suchdienste.
- Du willst einige Inhalte hinter einer Paywall oder einer anderen Schranke verstecken, wie z.B. Newsletter-exklusive Artikel.
- Du willst den Traffic zu alten, veralteten Artikeln beschränken.
- Du willst verhindern, dass du SEO-Abstrafungen für Testseiten oder Duplicate Content bekommst.
Für einige davon gibt es bessere Lösungen – die Verwendung eines geeigneten Offline-Entwicklungsservers, das Einstellen deiner Artikel auf privat oder das Verstecken hinter einem Passwort – aber es gibt legitime Gründe, warum du einen Teil oder deine gesamte Webseite deindexieren möchtest.
Wie du überprüfen kannst, ob deine Webseite Suchmaschinen abhält.
Auch wenn du legitime Gründe hast, deine Webseite zu deindexieren, kann es ein schrecklicher Schock sein, wenn du erfährst, dass du diese Einstellung unabsichtlich aktiviert hast oder sie aus Versehen aktiviert gelassen hast. Wenn du keinen Traffic bekommst und den Verdacht hast, dass deine Webseite nicht indexiert wird, kannst du es hier überprüfen.
Eine einfache Möglichkeit ist es, die At a Glance Box auf dem Startbildschirm deines Admin-Dashboards zu überprüfen. Logge dich einfach in dein Backend ein und prüfe die Box. Wenn du „Search Engines Discouraged“ siehst, dann weißt du, dass du diese Einstellung aktiviert hast.
Ein noch zuverlässigerer Weg ist es, deine robots.txt zu überprüfen. Du kannst dies einfach im Browser überprüfen, ohne dich auf deiner Webseite einzuloggen.
Um die robots.txt zu überprüfen, musst du nur /robots.txt an das Ende der URL deiner Webseite anhängen. Zum Beispiel: https://kinsta.com/robots.txt
Wenn du Disallow: / siehst dann wird deine Webseite komplett vom Indexieren ausgeschlossen.
Wenn du Disallow: gefolgt von einem URL-Pfad siehst, wie Disallow: /wp-admin/, bedeutet es, dass jede URL mit dem Pfad /wp-admin/ blockiert wird. Diese Struktur ist für einige Seiten normal, aber wenn es z.B. /blog/ blockiert, das Seiten enthält, die du indexieren willst, könnte es Probleme verursachen!
Da WordPress nun Meta-Tags und nicht mehr robots.txt zum Deindexieren deiner Webseite verwendet, solltest du auch deinen Header auf Änderungen überprüfen.
Logge dich in dein Backend ein und gehe zu Appearance > Theme Editor. Finde den Theme Header (header.php) und suche nach dem folgenden Code:
<meta name='robots' content='noindex,nofollow' />
Du kannst auch in der functions.php nach dem noindex-Tag suchen, da es möglich ist, über diese Datei aus der Ferne Code in den Header einzufügen.
Wenn du diesen Code in deinen Theme-Dateien findest, dann wird deine Webseite nicht von Google indexiert. Aber anstatt es manuell zu entfernen, lass uns zuerst versuchen, die ursprüngliche Einstellung abzuschalten.
So verhinderst du die Indexierung durch Suchmaschinen in WordPress
Wenn du die zusätzlichen Schritte überspringen und direkt zur ursprünglichen Einstellung gehen möchtest, erfährst du hier, wie du die Option „Suchmaschinen entmutigen“ in WordPress aktivieren oder deaktivieren kannst.
Logge dich in dein WordPress Dashboard ein und navigiere zu Einstellungen > Lesen. Suche nach der Option Suchmaschinensichtbarkeit mit einem Kontrollkästchen „Suchmaschinen davon abhalten, diese Webseite zu indexieren“.
Wenn du feststellst, dass diese Option bereits aktiviert ist und deine Webseite indexiert werden soll, dann deaktiviere sie. Wenn du verhindern willst, dass deine Webseite indexiert wird, dann aktiviere es (und schreibe dir irgendwo eine Notiz, dass du es später ausschalten kannst!)
Klicke nun auf Änderungen speichern und du kannst loslegen. Es kann einige Zeit dauern, bis deine Webseite neu indexiert wird oder aus den Suchergebnissen herausgenommen wird.
Wenn deine Webseite immer noch deindexiert ist, kannst du auch den noindex-Code aus deiner Header-Datei entfernen oder die robots.txt manuell bearbeiten, um das „Disallow“-Flag zu entfernen.
Das ist also einfach genug, aber was sind einige Gründe, warum du diese Option vermeiden solltest, oder dich zumindest nicht komplett darauf verlassen solltest?
Nachteile der Discourage Search Engines Option
Es scheint einfach zu sein – setze ein Häkchen und niemand wird deine Webseite sehen können. Ist das nicht gut genug? Warum solltest du es vermeiden, diese Option allein zu nutzen?
Wenn du diese Einstellung oder eine ähnliche Option aktivierst, ist alles was es tut, ein Tag zu deinem Header oder deiner robots.txt hinzuzufügen. Wie ältere WordPress-Versionen zeigen, die deine Webseite immer noch in den Suchergebnissen anzeigen, kann ein kleiner Fehler dazu führen, dass Leute deine vermeintlich versteckten Seiten sehen.
Darüber hinaus liegt es ganz in der Hand der Suchmaschinen, der Aufforderung nachzukommen, deine Webseite nicht zu crawlen. Die großen Suchmaschinen wie Google und Bing werden das in der Regel tun, aber nicht alle Suchmaschinen verwenden die gleiche robots.txt-Syntax, und nicht alle Spider, die das Web crawlen, werden von Suchmaschinen ausgesandt.
Ein Dienst, der Webcrawler einsetzt, ist zum Beispiel die Wayback Machine. Und wenn dein Inhalt von einem solchen Dienst indexiert wird, ist es für immer im Web.
Du denkst vielleicht, nur weil deine Webseite keine Links hat, ist sie sicher vor Spammern, aber das ist nicht wahr. Wenn du auf einem gemeinsam genutzten Server bist, eine E-Mail mit einem Link zu deiner Webseite versendest oder deine Webseite in einem Browser (insbesondere Chrome) besuchst, kann deine Webseite gecrawlt werden.
Wenn du Inhalte verstecken willst, ist es einfach keine gute Idee, einen Parameter hinzuzufügen und zu hoffen, dass er den Zweck erfüllt.
Und um es klar zu sagen, wenn der Inhalt, den du deindexieren willst, sensibler oder persönlicher Natur ist, solltest du dich auf keinen Fall auf robots.txt oder einen Meta-Tag verlassen, um es zu verbergen.
Nicht zuletzt wird diese Option deine Webseite komplett vor den Suchmaschinen verstecken, während du oft nur bestimmte Seiten deindexieren möchtest.
Was solltest du also anstelle oder neben dieser Methode tun?
Andere Möglichkeiten, die Indexierung durch Suchmaschinen zu verhindern
Während die von WordPress bereitgestellte Option normalerweise ihren Zweck erfüllt, ist es in bestimmten Situationen oft besser, andere Methoden zum Verbergen von Inhalten anzuwenden. Sogar Google selbst sagt, dass du keine robots.txt verwenden sollst, um Seiten zu verbergen.
Solange deine Webseite einen Domainnamen hat und auf einem öffentlichen Server liegt, gibt es keine Möglichkeit zu garantieren, dass deine Inhalte nicht von Crawlern gesehen oder indexiert werden, es sei denn, du löschst sie oder verschließt sie hinter einem Passwort oder einer Login-Anforderung.
Welche Möglichkeiten gibt es also, um deine Webseite oder bestimmte Seiten zu verbergen?
Suchmaschinen mit .htaccess blockieren
Obwohl die Implementierung funktionell die gleiche ist wie die Option „Suchmaschinen abhalten“, kannst du auch manuell .htaccess verwenden, um das Indexieren deiner Webseite zu blockieren.
Du musst ein FTP/SFTP-Programm verwenden, um auf deine Webseite zuzugreifen und die .htaccess-Datei zu öffnen, die sich normalerweise im Root-Ordner (der erste Ordner, den du siehst, wenn du deine Webseite öffnest) oder in public_html befindet. Füge diesen Code in die Datei ein und speichere:
Header set X-Robots-Tag "noindex, nofollow"Hinweis: Diese Methode funktioniert nur bei Apache-Servern. NGINX-Server, wie die, die auf Kinsta laufen, müssen diesen Code stattdessen in die .conf-Datei einfügen, die sich in /etc/nginx/ befindet (ein Beispiel für die Implementierung des Meta-Tags findest du hier):
add_header X-Robots-Tag "noindex, nofollow";Sensible Seiten mit Passwort schützen
Wenn es bestimmte Artikel oder Seiten gibt, von denen du nicht möchtest, dass sie von Suchmaschinen indexiert werden, ist der beste Weg, sie zu verstecken, deine Webseite mit einem Passwort zu schützen. Auf diese Weise können nur du und die Nutzer, die du willst, diese Inhalte sehen.
Glücklicherweise ist diese Funktion in WordPress eingebaut, so dass du keine Plugins installieren musst. Gehe einfach auf Seiten-Beiträge und klicke auf die Seite, die du ausblenden möchtest. Bearbeite deine Seite und suche auf der rechten Seite nach dem Menü Status und Sichtbarkeit > Sichtbarkeit.
Wenn du Gutenberg nicht verwendest, ist der Prozess ähnlich. Du findest das gleiche Menü in der Publish-Box.
Ändere die Sichtbarkeit auf Passwortgeschützt und gib ein Passwort ein, dann speichere – und dein Inhalt ist nun vor der Allgemeinheit verborgen.
Was, wenn du deine gesamte Webseite mit einem Passwort schützen möchtest? Es ist nicht praktisch, ein Passwort für jede einzelne Seite zu verlangen.
Kinsta-Benutzer haben Glück: Du kannst den Passwortschutz unter Sites > Tools aktivieren, wobei du sowohl einen Benutzernamen als auch ein Passwort brauchst.
Ansonsten kannst du ein Plugin zur Inhaltsbeschränkung verwenden (z.B. Password Protected). Bitte installiere und aktiviere es, gehe dann zu Einstellungen > Passwortgeschützt und aktiviere den Passwortgeschützten Status. Dies gibt dir eine feinere Kontrolle und erlaubt dir sogar, bestimmte IP-Adressen auf eine Whitelist zu setzen.
Installiere ein WordPress Plugin
Wenn die Standardfunktionen von WordPress nicht ausreichen, kann ein gutes Plugin oft deine Probleme lösen.
Wenn du zum Beispiel bestimmte Seiten deindexieren möchtest, anstatt deine gesamte Webseite, bietet dir Yoast diese Option.
In Yoast SEO kannst du eine Seite, die du ausblenden möchtest, öffnen und unter dem Reiter Erweitert nach der Option suchen: Erlaube Suchmaschinen, diesen Beitrag in den Suchergebnissen anzuzeigen? Ändere es auf Nein und die Seite wird versteckt.
Du solltest beachten, dass beide auf die gleichen Methoden wie die Standardoption von WordPress zurückgreifen, um die Indexierung durch Suchmaschinen zu unterbinden, und den gleichen Fehlern unterliegen. Einige Suchmaschinen könnten deine Anfrage nicht anerkennen. Du musst andere Methoden anwenden, wenn du diesen Inhalt wirklich komplett verstecken willst.
Eine andere Lösung ist es, deine Inhalte mit einer Paywall zu versehen oder sie hinter einem erforderlichen Login zu verstecken. Die Plugins Simple Membership oder Ultimate Member können dir dabei helfen, kostenlose oder kostenpflichtige Inhalte einzurichten.
Verwende eine Staging Webseite zum Testen
Wenn du an Testprojekten oder in Arbeit befindlichen Webseiten arbeitest, ist es am besten, wenn du eine Staging- oder Entwicklungsseite verwendest. Diese Webseiten sind privat und werden oft auf einem lokalen Rechner gehostet, auf den niemand außer dir und anderen, denen du den Zugriff erlaubt hast, zugreifen kann.
Viele Hosts stellen dir einfach einzurichtende Webseiten zur Verfügung und erlauben dir, sie auf deinen öffentlichen Server zu pushen, wenn du bereit bist. Kinsta bietet eine Ein-Klick-Staging Webseite für alle Pläne an.
Du kannst auf deine Staging-Sites in MyKinsta zugreifen, indem du auf Sites > Info gehst und auf das Dropdown-Menü Umgebung ändern klickst. Klicke auf die Staging-Umgebung und dann auf den Button Staging-Umgebung erstellen. In ein paar Minuten ist dein Entwicklungsserver eingerichtet und bereit zum Testen.
Wenn du keinen Zugang zu einer einfachen Möglichkeit hast, eine Staging-Umgebung zu erstellen, kann dir das WP STAGING Plugin dabei helfen, deine Installation zu duplizieren und in einen Ordner zu verschieben, damit du leicht darauf zugreifen kannst.
Nutze Google Search Console, um Webseiten vorübergehend auszublenden
Google Search Console ist ein Dienst, der es dir ermöglicht, die Eigentumsrechte an deinen Webseiten zu beanspruchen. Damit einher geht die Möglichkeit, Google vorübergehend davon abzuhalten, bestimmte Seiten zu indexieren.
Diese Methode hat ein paar Probleme: Es ist Google-exklusiv (so dass Webseiten wie Bing nicht betroffen sind) und es hält nur 6 Monate an.
Aber wenn du einen schnellen und einfachen Weg suchst, um deine Inhalte vorübergehend aus den Google-Suchergebnissen zu entfernen, ist dies der richtige Weg.
Wenn du es noch nicht getan hast, musst du deine Webseite zur Google Search Console hinzufügen. Wenn du das getan hast, öffne die Entfernungen und wähle Temporäre Entfernungen > Neue Anfrage. Klicke dann auf Nur diese URL entfernen und verlinke die Seite, die du ausblenden möchtest.
Dies ist ein noch zuverlässigerer Weg, um Inhalte zu sperren, aber auch hier gilt, dass es ausschließlich für Google funktioniert und nur 6 Monate dauert.
Zusammenfassung
Es gibt viele Gründe, warum du Inhalte auf deiner Webseite verbergen möchtest, aber sich auf die Option „Suchmaschinen davon abhalten, diese Webseite zu indexieren“ zu verlassen, ist nicht der beste Weg, um sicherzustellen, dass solche Inhalte nicht gesehen werden.
Wenn du nicht deine gesamte Webseite vor dem Web verstecken willst, solltest du diese Option niemals anklicken, da sie deiner SEO großen Schaden zufügen kann, wenn sie versehentlich aktiviert wird.
Und selbst wenn du deine Webseite verstecken möchtest, ist diese Standardoption eine unzuverlässige Methode. Es sollte mit einem Passwortschutz oder einer anderen Sperrung kombiniert werden, besonders wenn du mit sensiblen Inhalten arbeitest.
Benutzt du andere Methoden, um deine Webseite oder Teile davon zu verstecken? Lass es uns in den Kommentaren wissen.
Salman Ravoof ist ein autodidaktischer Webentwickler, Autor, Kreativer und ein großer Bewunderer von Free and Open Source Software (FOSS). Neben Technik begeistert er sich für Wissenschaft, Philosophie, Fotografie, Kunst, Katzen und Essen. Erfahre mehr über ihn auf seiner Website und trete mit Salman auf X in Kontakt.
Schreibe einen Kommentar