Hast du schon mal den Begriff robots.txt geh\u00f6rt und dich gefragt, was er mit deiner Website zu tun hat? Die meisten Websites haben eine robots.txt-Datei, aber das bedeutet nicht, dass die meisten Website-Betreiber sie verstehen. In diesem Beitrag wollen wir das \u00e4ndern, indem wir die WordPress robots.txt-Datei genauer unter die Lupe nehmen und erkl\u00e4ren, wie sie den Zugriff auf deine Website kontrollieren und einschr\u00e4nken kann.<\/p>\n
Es gibt viel zu berichten, also fangen wir an!<\/p>\n
Bevor wir \u00fcber die robots.txt-Datei von WordPress sprechen, ist es wichtig zu definieren, was ein „Roboter“ in diesem Fall ist. Robots sind alle Arten von „Bots“, die Websites im Internet besuchen. Das h\u00e4ufigste Beispiel sind die Crawler von Suchmaschinen. Diese Bots „krabbeln“ durch das Internet, um Suchmaschinen<\/a> wie Google dabei zu helfen, die Milliarden von Seiten im Internet zu indexieren und zu bewerten.<\/p>\n Bots sind also im Allgemeinen<\/em> eine gute Sache f\u00fcr das Internet … oder zumindest eine notwendige Sache. Das bedeutet aber nicht unbedingt, dass du oder andere Website-Betreiber\/innen wollen, dass Bots ungehindert herumlaufen. Der Wunsch zu kontrollieren, wie Webroboter mit Websites interagieren, f\u00fchrte Mitte der 1990er Jahre zur Schaffung des Robots-Exclusion-Standards<\/strong>. Robots.txt ist die praktische Umsetzung dieses Standards – sie erm\u00f6glicht es dir zu kontrollieren, wie die teilnehmenden Bots mit deiner Website interagieren<\/strong>. Du kannst Bots komplett blockieren, ihren Zugang zu bestimmten Bereichen deiner Website einschr\u00e4nken und vieles mehr.<\/p>\n Der Teil „teilnehmenden“ ist allerdings wichtig. Robots.txt kann einen Bot nicht dazu zwingen<\/em>, seinen Anweisungen zu folgen. Und b\u00f6sartige Bots k\u00f6nnen und werden die robots.txt-Datei ignorieren. Au\u00dferdem ignorieren selbst seri\u00f6se Unternehmen einige<\/em> Befehle, die du in robots.txt eingeben kannst. Google ignoriert zum Beispiel alle Regeln<\/a>, die du in deine robots.txt eintr\u00e4gst, um festzulegen, wie oft die Crawler deine Seite besuchen. Du kannst die H\u00e4ufigkeit, mit der Google deine Website crawlt, auf der Seite Crawl-Rate-Einstellungen<\/a> f\u00fcr deine Website in der Google Search Console einstellen.<\/p>\n Wenn du viele Probleme mit Bots hast, kann eine Sicherheitsl\u00f6sung wie Cloudflare<\/a> oder Sucuri<\/a> sehr hilfreich sein.<\/p>\n Die robots.txt-Datei befindet sich im Stammverzeichnis deiner Website. Wenn du also \/robots.txt nach deiner Domain hinzuf\u00fcgst, sollte die Datei geladen werden (falls du eine hast). Zum Beispiel: https:\/\/kinsta.com\/robots.txt.<\/strong><\/p>\n F\u00fcr die meisten Website-Betreiber\/innen lassen sich die Vorteile einer gut strukturierten robots.txt-Datei auf zwei Kategorien beschr\u00e4nken:<\/p>\n Robots.txt ist keine narrensichere Methode, um zu kontrollieren, welche Seiten von Suchmaschinen indiziert werden. Wenn du in erster Linie verhindern willst, dass bestimmte Seiten in die Suchmaschinenergebnisse aufgenommen werden, solltest du ein Noindex-Tag<\/a> oder einen Passwortschutz verwenden.<\/p>\n Das liegt daran, dass deine robots.txt den Suchmaschinen nicht direkt sagt, dass sie die Inhalte nicht indizieren sollen – sie sagt ihnen nur, dass sie sie nicht crawlen sollen. Auch wenn Google die markierten Bereiche innerhalb deiner Website nicht crawlen wird, gibt Google selbst an<\/a>, dass Google diese Seite trotzdem indexieren kann, wenn eine externe Website auf eine Seite verlinkt, die du mit deiner robots.txt-Datei ausgeschlossen hast.<\/p>\n John Mueller, ein Google Webmaster Analyst, hat ebenfalls best\u00e4tigt, dass eine Seite, auf die Links verweisen, auch dann indexiert werden kann<\/a>, wenn sie durch die robots.txt-Datei blockiert ist. Im Folgenden findest du, was er in einem Webmaster Central Hangout zu sagen hatte:<\/p>\n Wenn diese Seiten durch robots.txt blockiert sind, k\u00f6nnte es theoretisch passieren, dass jemand zuf\u00e4llig auf eine dieser Seiten verlinkt. Und dann k\u00f6nnte es passieren, dass wir diese URL<\/strong> ohne Inhalt indexieren<\/strong>, weil sie durch robots.txt blockiert ist. Wir w\u00fcssten also nicht, dass du nicht willst, dass diese Seiten indexiert werden.<\/p>\n Wenn sie aber nicht durch robots.txt blockiert sind, kannst du ein noindex-Meta-Tag auf diese Seiten setzen. Und wenn jemand zuf\u00e4llig auf diese Seiten verlinkt und wir diesen Link crawlen und denken, dass es hier vielleicht etwas N\u00fctzliches gibt, dann wissen wir, dass diese Seiten nicht indiziert werden m\u00fcssen und k\u00f6nnen sie einfach komplett aus der Indizierung herausnehmen.<\/p>\n Wenn du also etwas auf diesen Seiten hast, das nicht indiziert werden soll, dann verbiete es nicht, sondern benutze<\/strong> stattdessen noindex<\/strong>.<\/p><\/blockquote>\n Es ist wichtig, daran zu denken, dass du keine robots.txt-Datei auf deiner Website haben musst<\/em>. Wenn du kein Problem damit hast, dass alle Bots alle deine Seiten crawlen k\u00f6nnen, brauchst du keine robots.txt-Datei hinzuzuf\u00fcgen, da du den Crawlern keine wirklichen Anweisungen geben musst.<\/p>\n In manchen F\u00e4llen kannst du aufgrund von Beschr\u00e4nkungen des von dir verwendeten CMS nicht einmal eine robots.txt-Datei hinzuf\u00fcgen. Das ist in Ordnung und es gibt andere Methoden, um den Bots mitzuteilen, wie sie deine Seiten crawlen sollen, ohne eine robots.txt-Datei zu verwenden.<\/p>\n Die robots.txt-Datei muss einen 200 OK HTTP-Statuscode zur\u00fcckgeben, damit Crawler auf sie zugreifen k\u00f6nnen.<\/p>\n Wenn du Probleme mit der Indizierung deiner Seiten durch Suchmaschinen hast, solltest du den Statuscode deiner robots.txt-Datei \u00fcberpr\u00fcfen. Alles andere als ein 200-Statuscode k\u00f6nnte Crawler daran hindern, auf deine Seite zuzugreifen.<\/p>\n Einige Website-Betreiber haben berichtet, dass Seiten deindexiert wurden, weil ihre robots.txt-Datei einen Statuscode ungleich 200 zur\u00fcckgegeben hat. Ein Website-Begtreiber fragte im M\u00e4rz 2022 in einer Google SEO-Sprechstunde nach einem Indexierungsproblem und John Mueller erkl\u00e4rte<\/a>, dass die robots.txt-Datei entweder einen 200-Status zur\u00fcckgeben sollte, wenn sie vorhanden ist, oder einen 4XX-Status, wenn die Datei nicht existiert. In diesem Fall wurde ein interner Serverfehler 500<\/a> zur\u00fcckgegeben, was laut Mueller dazu gef\u00fchrt haben k\u00f6nnte, dass Googlebot die Seite von der Indexierung ausgeschlossen hat.<\/p>\n Dasselbe kann man in diesem Tweet sehen, in dem ein Website-Betreiber berichtet, dass seine gesamte Website deindexiert wurde, weil eine robots.txt-Datei einen 500-Fehler zur\u00fcckgab.<\/p>\n [Quick SEO tip]<\/p>\n If you are having issue with indexing, make sure your robots.txt file is returning either 200 or 404. <\/p>\n If your file returns 500, Google will eventually deindex your website, as I've seen with this project. pic.twitter.com\/8KiYLgDVRo<\/a><\/p>\n — Antoine Eripret (@antoineripret) November 14, 2022<\/a><\/p><\/blockquote>\nWie findet man die robots.txt?<\/h3>\n
Wann solltest du eine robots.txt-Datei verwenden?<\/h3>\n
\n
Robots.txt ist nicht speziell daf\u00fcr gedacht, zu kontrollieren, welche Seiten von Suchmaschinen indiziert werden<\/h3>\n
Brauche ich eine robots.txt-Datei?<\/h3>\n
Welcher HTTP-Statuscode sollte f\u00fcr die robots.txt-Datei zur\u00fcckgegeben werden?<\/h3>\n
\n