Bei der Arbeit mit WordPress auf einer 24/7-Basis sieht das Team hier bei Kinsta alle Arten von verschiedenen Fehlern und Warnungen, die Kunden erleben. Vertraue uns, wir haben so ziemlich alles gesehen. Wann immer ein Fehler in unserem System auftaucht, stellen wir sicher, dass wir ihn dokumentieren, damit wir die Lösung mit dir teilen können. Was nützt ein Premium-Host, der dir nicht dabei hilft, deine Probleme zu lösen? Heute werden wir uns mit einem Fehler in der Google Search Console befassen, der dir vielleicht oder vielleicht auch nicht aufgefallen ist: „The page may not render properly due to resources blocked by robots.txt.
Keine Sorge, wir erklären dir auf deiner WordPress-Seite, was das bedeutet und wie du das Problem lösen kannst.
Blockierte Ressourcen
Wenn man wegen blockierter Ressourcen eine Warnung oder einen Fehler erhält, bedeutet dies normalerweise, dass auf deiner WordPress-Seite etwas nicht richtig konfiguriert ist. Dies ist nicht immer der Fall, aber wenn man eine Meldung über etwas in der Google Search Console sieht, sollte man diese immer untersuchen. Google stellt diese Meldungen aus einem bestimmten Grund zur Verfügung. Unsere jüngste Erfahrung mit einer unbegründeten Google-Strafe beweist diesen Punkt eindeutig.
Wenn du keine Nachricht über blockierte Ressourcen erhalten hast, kannst du deine Webseite jederzeit überprüfen, indem du dich bei der Google Search Console anmeldest. Klicke dann auf Google Index → Gesperrte Ressourcen. Wie angegeben:
Googlebot benötigt Zugriff auf viele Ressourcen auf der Seite, um die Seite optimal zu rendern und zu indexieren. Beispielsweise sollten JavaScript, CSS und Bilddateien für den Googlebot verfügbar sein, damit er die Seiten wie ein durchschnittlicher Nutzer sehen kann.
Diese Ressourcen dieses Hosts werden von der Webseite verwendet, aber für Googlebot gesperrt. Wenn Googlebot nicht auf wichtige Ressourcen auf der Seite zugreifen kann, wird die Seite möglicherweise falsch indexiert. (Quelle: Bericht über blockierte Ressourcen)
Auch hier gilt: Nur weil eine Ressource blockiert ist, bedeutet das nicht immer, dass sie dem SEO deiner Webseite schaden. Aber es ist die beste Methode, sie zu bereinigen, so dass, wenn diejenigen, die sich auf dein SEO auswirken, auftauchen, leichter behoben werden können, ohne dass man durch Seiten mit Fehlermeldungen filtern muss.
Wir lieben es, Live-Daten mit dir zu teilen. Im heutigen Beispiel haben wir also ein Problem mit mehreren (400+) blockierten Ressourcen-Fehlern auf unserer eigenen Webseite (siehe unten).
Wenn man Fehler im Bereich der gesperrten Ressourcen sieht, kann man sie anklicken, um weitere Details zu erhalten. Wir klicken also auf https://kinsta.com/wp-admin/admin-ajax.php. Die Datei admin-ajax.php ist nur ein Beispiel für etwas, das hier auftauchen könnte. Du könntest auch Fehler über blockierte JavaScript- oder CSS-Dateien sehen. Aber ihre Behebung erfordert im Allgemeinen die gleichen Schritte.
Auf der Seite sieht man den folgenden Fehler: „Die Seite wird möglicherweise aufgrund von Ressourcen, die von https://kinsta.com/robots.txt blockiert wurden, nicht richtig dargestellt.“
Sie raten, die Regel robots.txt zu aktualisieren, um die Blockierung der Ressource aufzuheben. Wenn du noch nie von dieser Datei gehört hast, empfehlen wir dir, zuerst unseren Beitrag über die robots.txt-Datei in WordPress zu lesen.
Du kannst das Google Fetch-Tool verwenden, um die Seite so anzuzeigen, wie Google sie sieht. So kann ermittelt werden, ob sich die blockierte Ressource auf das Erscheinungsbild der Seite auswirkt. Auch hier empfehlen wir, nach Möglichkeit einfach alle hier gemeldeten Fehler zu bereinigen.
Wir können sehen, dass die Ressource, über die sie sich beschwert, https://kinsta.com/wp-admin/admin-ajax.php?action=essb_counts&...In ist, unser Fall AJAX wird von unserem WordPress Social Media Plugin verwendet. Wenn wir sie in das Robots Testing Tool eingeben, können wir sehen, dass Google sie tatsächlich nicht finden kann. Das liegt daran, dass das Verzeichnis /wp-admin/ tatsächlich blockiert ist, wie wir weiter unten noch näher ausführen werden.
Dein SEO hat in einem Blog-Post, der die Beispieldatei robots.txt enthält, auf dieses Problem der „blockierten Ressourcen“ hingewiesen. Grundsätzlich wird AJAX (admin-ajax.php) von einigen WordPress-Themes und Plugins verwendet, um Inhalte zu einer Seite hinzuzufügen oder eine bestimmte Funktion auszuführen. WordPress hat dies eigentlich standardmäßig blockiert, aber das wurde in WordPress 4.4 (#33156) behoben. Google kann jetzt die Datei admin-ajax.php in wp-admin crawlen.
Aber wie viele von euch haben ihre WordPress-Seite bereits vor der Veröffentlichung von Version 4.4 betrieben? Wahrscheinlich 99% von euch. Und wie wir hast du wahrscheinlich eine benutzerdefinierte robots.txt-Datei, die von dir oder einem Entwickler auf dem Weg dahin optimiert wurde und die den neuen Standard überschreibt. Das bedeutet, dass die Warnungen in der Google Search Console immer noch angezeigt werden würden, wenn du sie nicht korrigierst. Die Antwort ist, dass du einfach deine robots.txt-Datei aktualisierst.
Aktualisieren der Datei Robots.txt
WordPress erstellt standardmäßig eine virtuelle robots.txt-Datei. Wir empfehlen jedoch immer, eine physische Datei zu erstellen. Bist du nicht sicher, ob du schon eine hast? Versuche, die Wurzel deiner WordPress-Seite zu finden: https://domain.com/robots.txt. Wenn eine solche Datei existiert, wirst du sie sehen. Wenn nicht, erhälst du einen 404-Fehler.
Wir sind große Fans von Yoast SEO hier bei Kinsta, wir verwenden es auf unserer Webseite, und es ist das SEO-Plugin Nr. 1, das wir für deine WordPress-Seite empfehlen. Viele wissen nicht, dass man damit einfach deine robots.txt direkt von deinem WordPress-Dashboard aus erstellen und bearbeiten kann.
Klicke auf SEO → Tools. Klicke dann auf „Datei-Editor“. Dies wird nicht angezeigt, wenn du die Dateibearbeitung deaktiviert hast. Wenn du dies deaktiviert lassen möchtest, kannst du deine robots.txt-Datei über SFTP erstellen/bearbeiten.
Wenn du keine physische Datei hast, kannst du auf „Create robots.txt file“ klicken. Dadurch wird eine physische Datei auf deinem Server erstellt.
Wenn man schon eine robots.txt-Datei hat, könnte sie so aussehen (Oder sie könnte wirklich lang sein! Wir haben schon einige verrückte robots.txt-Dateien gesehen):
User-agent: * Disallow: /wp-admin/
Es gibt eine weitere Zeile, die wir hinzufügen müssen, um den Fehler mit den blockierten Ressourcen zu beheben. In unserem Beispiel fügen wir also die folgende Zeile hinzu (dies ist jetzt die Standardkonfiguration der robots.txt, wenn du eine Datei mit Yoast und WordPress bei einer Neuinstallation erstellst):
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Dies ermöglicht es Google, es jetzt zu crawlen.
Was die Datei admin-ajax.php selbst betrifft, muss man sich keine Sorgen machen, dass sie versehentlich in Google oder bei der Indexierung auftaucht, denn wenn man sich die Datei ansieht, enthält sie tatsächlich den folgenden Noindex-Header.
@header( 'X-Robots-Tag: noindex' );
Dieses Tag weist Google an, es nicht zu indexieren.
Wenn du siehst, dass andere Arten von Ressourcen Fehler blockieren, wie z.B. JavaScript oder CSS, ist ein schneller Weg, sie zu beheben, indem du auf die obige Standardkonfiguration von robots.txt zurückkehrst. Die Verzeichnisse wp-content/plugins/ und /wp-includes/ sind häufige Verzeichnisse, die von Benutzern fälschlicherweise blockiert wurden, was wiederum manchmal diese Art von Problemen verursacht.
Du kannst unten sehen, nachdem du die obige Datei in unserer robots.txt-Datei zugelassen hast, dass unsere blockierten Ressourcen Fehler innerhalb weniger Tage in der Google Search Console behoben werden.
Zusammenfassung
Die Behebung von Fehlern und Warnungen in der Google Suchkonsole ist ein wichtiger Teil der ordnungsgemäßen Wartung der Webseite von WordPress. Dies trägt dazu bei, dass Google deine Webseite richtig sieht und indexiert. Wenn du das nächste Mal auf blockierte Ressourcenfehler stößt, weißt du hoffentlich, wie du sie besser beheben kannst!
Hast du irgendwelche Gedanken zu blockierten Ressourcen? Hast du das Problem auf deiner eigenen Webseite gesehen?
Brian hat eine große Leidenschaft für WordPress, verwendet es seit über einem Jahrzehnt und entwickelt sogar einige Premium-Plugins. Brian liebt Blogging, Filme und Wandern. Verbinde dich mit Brian auf Twitter.
Schreibe einen Kommentar