Was bedeutet „Suchmaschinen von der Indexierung dieser Webseite abhalten“?<\/h2>\n
Hast du dich jemals gefragt, wie Suchmaschinen deine Webseite indexieren und dein SEO bewerten<\/a>? Sie tun es mit einem automatisierten Programm namens Spider, auch bekannt als Robot oder Crawler. Spider „crawlen“ das Web, besuchen Webseiten und protokollieren alle deine Inhalte.<\/p>\n Google nutzt sie, um zu entscheiden, wie deine Webseite in den Suchergebnissen platziert werden soll, um Textpassagen aus deinen Artikeln f\u00fcr die Suchergebnisseite zu \u00fcbernehmen und um deine Bilder in Google Images einzupflegen.<\/p>\n Wenn du das H\u00e4kchen bei „Suchmaschinen davon abhalten, diese Webseite zu indexieren“ setzt, \u00e4ndert WordPress deine robots.txt-Datei<\/a> (eine Datei, die den Spidern Anweisungen gibt, wie sie deine Webseite crawlen sollen). Es kann auch einen Meta-Tag in den Header deiner Webseite einf\u00fcgen, der Google und anderen Suchmaschinen sagt, dass sie keine Inhalte auf deiner gesamten Webseite indexieren sollen.<\/p>\n Das Schl\u00fcsselwort hier ist „entmutigen“: Suchmaschinen sind nicht verpflichtet, diese Aufforderung zu befolgen, insbesondere Suchmaschinen, die nicht die Standard robots.txt<\/strong> Syntax verwenden, wie es Google tut.<\/p>\n Webcrawler werden deine Webseite immer noch finden k\u00f6nnen, aber richtig konfigurierte Crawler werden deine robots.txt<\/strong> lesen und die Seite verlassen, ohne den Inhalt zu indexieren oder in ihren Suchergebnissen anzuzeigen.<\/p>\n In der Vergangenheit hat diese Option in WordPress Google nicht davon abgehalten, deine Webseite in den Suchergebnissen anzuzeigen, sondern nur davon, ihren Inhalt zu indexieren. Du konntest immer noch sehen, dass deine Seiten in den Suchergebnissen mit einem Fehler wie „F\u00fcr diese Seite sind keine Informationen verf\u00fcgbar“ oder „Eine Beschreibung f\u00fcr dieses Ergebnis ist aufgrund der robots.txt der Webseite nicht verf\u00fcgbar.“ angezeigt wurden.<\/p>\n W\u00e4hrend Google die Seite nicht indexiert hat, haben sie die Seite auch nicht komplett versteckt. Diese Anomalie f\u00fchrte dazu, dass Leute Seiten besuchen konnten, die sie nicht sehen sollten. Dank WordPress 5.3<\/a> funktioniert es jetzt richtig und blockiert sowohl die Indexierung als auch die Auflistung der Webseite.<\/p>\n Du kannst dir vorstellen, wie dies dein SEO zerst\u00f6ren w\u00fcrde, wenn du es versehentlich aktivierst. Es ist kritisch, diese Option nur zu nutzen, wenn du wirklich nicht willst, dass jemand deine Inhalte sieht – und selbst dann ist es vielleicht nicht die einzige Ma\u00dfnahme, die du ergreifen willst.<\/p>\n Webseiten sind daf\u00fcr gemacht, von Menschen gesehen zu werden. Du willst, dass Nutzer deine Artikel lesen, deine Produkte kaufen, deine Inhalte konsumieren – warum solltest du absichtlich versuchen, Suchmaschinen zu blockieren?<\/p>\n Es gibt ein paar Gr\u00fcnde, warum du einen Teil oder deine gesamte Webseite ausblenden m\u00f6chtest.<\/p>\n F\u00fcr einige davon gibt es bessere L\u00f6sungen – die Verwendung eines geeigneten Offline-Entwicklungsservers<\/a>, das Einstellen deiner Artikel auf privat<\/a> oder das Verstecken hinter einem Passwort – aber es gibt legitime Gr\u00fcnde, warum du einen Teil oder deine gesamte Webseite deindexieren m\u00f6chtest.<\/p>\n Auch wenn du legitime Gr\u00fcnde hast, deine Webseite zu deindexieren, kann es ein schrecklicher Schock sein, wenn du erf\u00e4hrst, dass du diese Einstellung unabsichtlich aktiviert hast oder sie aus Versehen aktiviert gelassen hast. Wenn du keinen Traffic bekommst<\/a> und den Verdacht hast, dass deine Webseite nicht indexiert wird, kannst du es hier \u00fcberpr\u00fcfen.<\/p>\n Eine einfache M\u00f6glichkeit ist es, die At a Glance Box<\/strong> auf dem Startbildschirm deines Admin-Dashboards zu \u00fcberpr\u00fcfen. Logge dich einfach in dein Backend ein und pr\u00fcfe die Box. Wenn du „Search Engines Discouraged“ siehst, dann wei\u00dft du, dass du diese Einstellung aktiviert hast.<\/p>\n Ein noch zuverl\u00e4ssigerer Weg ist es, deine robots.txt<\/strong> zu \u00fcberpr\u00fcfen. Du kannst dies einfach im Browser \u00fcberpr\u00fcfen, ohne dich auf deiner Webseite einzuloggen.<\/p>\n Um die robots.txt<\/strong> zu \u00fcberpr\u00fcfen, musst du nur Wenn du Wenn du Da WordPress nun Meta-Tags und nicht mehr robots.txt<\/strong> zum Deindexieren deiner Webseite verwendet, solltest du auch deinen Header auf \u00c4nderungen \u00fcberpr\u00fcfen<\/a>.<\/p>\n Logge dich in dein Backend ein und gehe zu Appearance > Theme Editor<\/strong>. Finde den Theme Header (header.php)<\/strong> und suche nach dem folgenden Code:<\/p>\n Du kannst auch in der functions.php<\/strong> nach dem Wenn du diesen Code in deinen Theme-Dateien findest, dann wird deine Webseite nicht von Google indexiert. Aber anstatt es manuell zu entfernen, lass uns zuerst versuchen, die urspr\u00fcngliche Einstellung abzuschalten.<\/p>\n Wenn du die zus\u00e4tzlichen Schritte \u00fcberspringen und direkt zur urspr\u00fcnglichen Einstellung gehen m\u00f6chtest, erf\u00e4hrst du hier, wie du die Option „Suchmaschinen entmutigen“ in WordPress aktivieren oder deaktivieren kannst.<\/p>\n Logge dich in dein WordPress Dashboard<\/a> ein und navigiere zu Einstellungen > Lesen<\/strong>. Suche nach der Option Suchmaschinensichtbarkeit<\/strong> mit einem Kontrollk\u00e4stchen „Suchmaschinen davon abhalten, diese Webseite zu indexieren“.<\/p>\n Wenn du feststellst, dass diese Option bereits aktiviert ist und deine Webseite indexiert werden soll, dann deaktiviere sie. Wenn du verhindern willst, dass deine Webseite indexiert wird, dann aktiviere es (und schreibe dir irgendwo eine Notiz, dass du es sp\u00e4ter ausschalten kannst!)<\/p>\n Klicke nun auf \u00c4nderungen speichern<\/strong> und du kannst loslegen. Es kann einige Zeit dauern, bis deine Webseite neu indexiert wird oder aus den Suchergebnissen herausgenommen wird.<\/p>\n Wenn deine Webseite immer noch deindexiert ist, kannst du auch den Das ist also einfach genug, aber was sind einige Gr\u00fcnde, warum du diese Option vermeiden solltest, oder dich zumindest nicht komplett darauf verlassen solltest?<\/p>\n Es scheint einfach zu sein – setze ein H\u00e4kchen und niemand wird deine Webseite sehen k\u00f6nnen. Ist das nicht gut genug? Warum solltest du es vermeiden, diese Option allein zu nutzen?<\/p>\n Wenn du diese Einstellung oder eine \u00e4hnliche Option aktivierst, ist alles was es tut, ein Tag zu deinem Header oder deiner robots.txt<\/strong> hinzuzuf\u00fcgen. Wie \u00e4ltere WordPress-Versionen zeigen, die deine Webseite immer noch in den Suchergebnissen anzeigen, kann ein kleiner Fehler<\/a> dazu f\u00fchren, dass Leute deine vermeintlich versteckten Seiten sehen.<\/p>\n Dar\u00fcber hinaus liegt es ganz in der Hand der Suchmaschinen, der Aufforderung nachzukommen, deine Webseite nicht zu crawlen. Die gro\u00dfen Suchmaschinen wie Google und Bing werden das in der Regel tun, aber nicht alle Suchmaschinen verwenden die gleiche robots.txt<\/strong>-Syntax, und nicht alle Spider, die das Web crawlen, werden von Suchmaschinen<\/a> ausgesandt.<\/p>\n Ein Dienst, der Webcrawler einsetzt, ist zum Beispiel die Wayback Machine<\/a>. Und wenn dein Inhalt von einem solchen Dienst indexiert wird, ist es f\u00fcr immer im Web.<\/p>\n Du denkst vielleicht, nur weil deine Webseite keine Links hat, ist sie sicher vor Spammern, aber das ist nicht wahr. Wenn du auf einem gemeinsam genutzten Server bist, eine E-Mail mit einem Link zu deiner Webseite versendest oder deine Webseite in einem Browser (insbesondere Chrome) besuchst, kann deine Webseite gecrawlt werden.<\/p>\n Wenn du Inhalte verstecken willst, ist es einfach keine gute Idee, einen Parameter hinzuzuf\u00fcgen und zu hoffen, dass er den Zweck erf\u00fcllt.<\/p>\n Und um es klar zu sagen, wenn der Inhalt, den du deindexieren willst, sensibler oder pers\u00f6nlicher Natur ist<\/a>, solltest du dich auf keinen Fall auf robots.txt<\/strong> oder einen Meta-Tag verlassen, um es zu verbergen.<\/p>\n Nicht zuletzt wird diese Option deine Webseite komplett vor den Suchmaschinen verstecken, w\u00e4hrend du oft nur bestimmte Seiten deindexieren m\u00f6chtest.<\/p>\n Was solltest du also anstelle oder neben dieser Methode tun?<\/p>\n W\u00e4hrend die von WordPress bereitgestellte Option normalerweise ihren Zweck erf\u00fcllt, ist es in bestimmten Situationen oft besser, andere Methoden zum Verbergen von Inhalten anzuwenden. Sogar Google selbst sagt, dass du keine robots.txt verwenden sollst, um Seiten zu verbergen<\/a>.<\/p>\n Solange deine Webseite einen Domainnamen hat<\/a> und auf einem \u00f6ffentlichen Server liegt, gibt es keine M\u00f6glichkeit zu garantieren, dass deine Inhalte nicht von Crawlern gesehen oder indexiert werden, es sei denn, du l\u00f6schst sie oder verschlie\u00dft sie hinter einem Passwort oder einer Login-Anforderung.<\/p>\n Welche M\u00f6glichkeiten gibt es also, um deine Webseite oder bestimmte Seiten zu verbergen?<\/p>\n Obwohl die Implementierung funktionell die gleiche ist wie die Option „Suchmaschinen abhalten“, kannst du auch manuell .htaccess<\/strong> verwenden, um das Indexieren deiner Webseite zu blockieren.<\/p>\n Du musst ein FTP\/SFTP-Programm<\/a> verwenden, um auf deine Webseite zuzugreifen und die .htaccess-Datei<\/a> zu \u00f6ffnen, die sich normalerweise im Root-Ordner (der erste Ordner, den du siehst, wenn du deine Webseite \u00f6ffnest) oder in public_html<\/strong> befindet. F\u00fcge diesen Code in die Datei ein und speichere:<\/p>\n Hinweis: Diese Methode funktioniert nur bei Apache-Servern. NGINX-Server, wie die, die auf Kinsta laufen, m\u00fcssen diesen Code stattdessen in die .conf<\/strong>-Datei einf\u00fcgen, die sich in \/etc\/nginx\/<\/strong> befindet (ein Beispiel f\u00fcr die Implementierung des Meta-Tags<\/a> findest du hier):<\/p>\n Wenn es bestimmte Artikel oder Seiten gibt, von denen du nicht m\u00f6chtest, dass sie von Suchmaschinen indexiert werden, ist der beste Weg, sie zu verstecken, deine Webseite mit einem Passwort zu sch\u00fctzen<\/a>. Auf diese Weise k\u00f6nnen nur du und die Nutzer, die du willst, diese Inhalte sehen.<\/p>\n Gl\u00fccklicherweise ist diese Funktion in WordPress eingebaut, so dass du keine Plugins installieren musst. Gehe einfach auf Seiten-Beitr\u00e4ge<\/strong> und klicke auf die Seite, die du ausblenden m\u00f6chtest. Bearbeite deine Seite und suche auf der rechten Seite nach dem Men\u00fc Status und Sichtbarkeit > Sichtbarkeit<\/strong>.<\/p>\n Wenn du Gutenberg nicht verwendest, ist der Prozess \u00e4hnlich. Du findest das gleiche Men\u00fc in der Publish<\/strong>-Box.<\/p>\n \u00c4ndere die Sichtbarkeit<\/strong> auf Passwortgesch\u00fctzt<\/strong> und gib ein Passwort ein, dann speichere – und dein Inhalt ist nun vor der Allgemeinheit verborgen.<\/p>\n Was, wenn du deine gesamte Webseite mit einem Passwort sch\u00fctzen m\u00f6chtest? Es ist nicht praktisch, ein Passwort f\u00fcr jede einzelne Seite zu verlangen.<\/p>\n Kinsta-Benutzer haben Gl\u00fcck: Du kannst den Passwortschutz unter Sites > Tools<\/strong> aktivieren, wobei du sowohl einen Benutzernamen als auch ein Passwort brauchst.<\/p>\n Ansonsten kannst du ein Plugin zur Inhaltsbeschr\u00e4nkung verwenden<\/a> (z.B. Password Protected<\/a>). Bitte installiere und aktiviere es, gehe dann zu Einstellungen > Passwortgesch\u00fctzt<\/strong> und aktiviere den Passwortgesch\u00fctzten Status<\/strong>. Dies gibt dir eine feinere Kontrolle und erlaubt dir sogar, bestimmte IP-Adressen auf eine Whitelist zu setzen.<\/p>\nWarum du deine Webseite vielleicht nicht indexieren solltest<\/h3>\n
\n
Wie du \u00fcberpr\u00fcfen kannst, ob deine Webseite Suchmaschinen abh\u00e4lt.<\/h2>\n
![\"\"Auf](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/at-a-glance-search-engines-discouraged.png\")
\/robots.txt<\/code> an das Ende der URL deiner Webseite anh\u00e4ngen. Zum Beispiel: https:\/\/kinsta.com\/robots.txt<\/code><\/p>\nDisallow: \/<\/code> siehst dann wird deine Webseite komplett vom Indexieren ausgeschlossen.<\/p>\n![](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/kinsta-robots-txt.png\")
Disallow:<\/code> gefolgt von einem URL-Pfad siehst, wie Disallow: \/wp-admin\/<\/code>, bedeutet es, dass jede URL<\/a> mit dem Pfad \/wp-admin\/ blockiert wird. Diese Struktur ist f\u00fcr einige Seiten normal, aber wenn es z.B. \/blog\/<\/code> blockiert, das Seiten enth\u00e4lt, die du indexieren willst, k\u00f6nnte es Probleme verursachen!<\/p>\n<meta name='robots' content='noindex,nofollow<\/span>' \/><\/code><\/pre>\n![\"noindex,](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/header-php-meta-tag.jpg\")
noindex<\/code>-Tag suchen, da es m\u00f6glich ist, \u00fcber diese Datei aus der Ferne Code in den Header einzuf\u00fcgen.<\/p>\nSo verhinderst du die Indexierung durch Suchmaschinen in WordPress<\/h2>\n
![\"Suchmaschinensichtbarkeit](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/discourage-search-engines.png\")
noindex<\/code>-Code aus deiner Header-Datei entfernen oder die robots.txt<\/strong> manuell bearbeiten, um das „Disallow“-Flag zu entfernen.<\/p>\nNachteile der Discourage Search Engines Option<\/h3>\n
![\"Screenshot](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/wayback-machine.png\")
Andere M\u00f6glichkeiten, die Indexierung durch Suchmaschinen zu verhindern<\/h2>\n
Suchmaschinen mit .htaccess blockieren<\/h3>\n
Header<\/span> set X-Robots<\/span>-Tag \"noindex, nofollow<\/span>\"<\/code><\/pre>\nadd_header<\/span> X-Robots<\/span>-Tag \"noindex, nofollow<\/span>\";<\/code><\/pre>\nSensible Seiten mit Passwort sch\u00fctzen<\/h3>\n
![\"Einen](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/password-protect-post.jpg\")