Trabajando con WordPress las 24 horas del día, los 7 días de la semana, el equipo de Kinsta ve todo tipo de errores y advertencias que los clientes experimentan. Confíe en nosotros, lo hemos visto todo. Cada vez que un error sigue apareciendo en nuestro sistema, nos aseguramos de documentarlo para que podamos compartir la solución con usted. ¿De qué sirve un host premium que no le ayuda a resolver sus propios problemas? Hoy nos sumergimos en un error de la Consola de Búsqueda de Google que tal vez experimentó o no: «La página puede no rendir correctamente debido a que los recursos están bloqueados por robots.txt.»
No se preocupe, le explicaremos lo que esto significa y cómo arreglarlo en su sitio de WordPress.
Recursos Bloqueados
Si recibe una advertencia o un error sobre los recursos bloqueados, normalmente significa que algo no está configurado correctamente en su sitio de WordPress. Esto no siempre es así, pero si ve un mensaje sobre cualquier cosa en la Consola de Búsqueda de Google, siempre debe investigarlo. Google proporciona estos mensajes por una razón. Nuestra reciente experiencia con una penalización injustificada de Google prueba definitivamente este punto.
Si no recibe un mensaje sobre los recursos bloqueados, siempre puede consultar su sitio accediendo a la Consola de Búsqueda de Google. A continuación, haga clic en el índice de Google → Recursos bloqueados. Como ellos dicen:
Googlebot necesita acceder a muchos recursos de su página para poder visualizar e indexar la página de forma óptima. Por ejemplo, los archivos JavaScript, CSS e imágenes deben estar disponibles para Googlebot para que pueda ver las páginas como un usuario medio.
Estos recursos de este host son utilizados por su sitio, pero bloqueados por Googlebot. Si Googlebot no puede acceder a recursos importantes de su página, es posible que ésta esté indexada incorrectamente. (Fuente: Informe de Recursos Bloqueados)
Una vez más, el hecho de que un recurso esté bloqueado no siempre significa que esté dañando el SEO de su sitio. Pero su mejor práctica es limpiar estos para que cuando lleguen a impactar su SEO pueda arreglarlos más fácilmente sin tener que filtrar a través de páginas de errores.
Nos encanta compartir datos en vivo con usted. Así que en el ejemplo de hoy, tenemos un problema con múltiples (400+) errores de recursos bloqueados que están ocurriendo (como se ve abajo) en nuestro propio sitio.
Cuando vea errores en la sección de recursos bloqueados, puede hacer clic en ellos para obtener más detalles. Así que hacemos clic en https://kinsta.com/wp-admin/admin-ajax.php. El archivo admin-ajax.php es sólo un ejemplo de algo que puede aparecer aquí. También es posible que aparezcan errores sobre archivos JavaScript o CSS bloqueados. Pero arreglarlos generalmente implica los mismos pasos.
En la página vemos el siguiente error: «La página puede no funciona correctamente debido a los recursos bloqueados por https://kinsta.com/robots.txt».
Su consejo es actualizar la regla robots.txt para desbloquear el recurso. Si nunca ha oído hablar de este archivo antes, le sugerimos que primero lea nuestra inmersión profunda en el archivo robots.txt en WordPress.
Puede utilizar la herramienta Google Fetch para ver la página tal como la ve Google. Esto puede ayudarle a determinar si el recurso bloqueado está afectando la apariencia de su página. De nuevo, simplemente recomendamos limpiar todos los errores reportados aquí si es posible.
Podemos ver que el recurso del que se queja es https://kinsta.com/wp-admin/admin-ajax.php?action=essb_counts... En nuestro caso AJAX está siendo usado por nuestro plugin de medios sociales WordPress. Si lo introducimos en Robots Testing Tool podemos ver que Google no lo encuentra. Esto se debe a que el directorio /wp-admin/ está bloqueado, como veremos más adelante.
Yoast SEO ha hecho referencia a este tema de «recursos bloqueados» en una entrada de blog que contiene su ejemplo robots.txt file. Básicamente, AJAX (admin-ajax.php) es utilizado por algunos temas y plugins de WordPress para añadir contenido a una página o realizar una determinada función. WordPress realmente se usó para bloquear esto por defecto, pero fue corregido en WordPress 4.4 (#33156). Google ahora puede rastrear admin-ajax.php en wp-admin.
Pero, ¿cuántos de ustedes ya estaban ejecutando su sitio de WordPress antes de que saliera la versión 4.4? Probablemente el 99% de ustedes. Y al igual que nosotros, es probable que tenga un archivo robots.txt personalizado que haya sido modificado por usted o por un desarrollador a lo largo del proceso que está sobrescribiendo el nuevo valor predeterminado. Esto significa que las advertencias seguirán apareciendo en la Consola de búsqueda de Google a menos que las corrija. La respuesta es simplemente actualizar el archivo robots.txt.
Actualización del Archivo Robots.txt
WordPress por defecto crea un archivo virtual robots.txt. Sin embargo, siempre recomendamos crear uno físico. ¿No está seguro si ya tiene uno? Intente navegar hasta la raíz de su sitio de WordPress: https://domain.com/robots.txt. Si existe uno, lo verá. Si no, obtendrá un error 404.
Somos grandes fans de Yoast SEO aquí en Kinsta, lo usamos en nuestro sitio, y es el plugin SEO #1 que recomendamos para su sitio de WordPress. Muchos no saben que usted puede crear y editar fácilmente su robots.txt directamente desde su tablero de WordPress usándolo.
Haga clic en SEO → Herramientas. A continuación, haga clic en «Editor de archivos». Esto no aparecerá si tiene desactivada la edición de archivos. Si desea mantener esta opción desactivada, puede crear/editar el archivo robots.txt a través de SFTP.
Si no tiene un archivo físico, puede hacer clic en «Crear archivo robots.txt«. Esto crea un archivo físico en su servidor.
Si ya tiene un archivo robots.txt, puede parecerse a esto (o puede ser muy largo! hemos visto algunos archivos robots.txt locos):
User-agent: * Disallow: /wp-admin/
Hay otra línea que necesitamos añadir para corregir el error de recursos bloqueados. Así que en nuestro ejemplo, añadimos la siguiente línea (esta es la configuración por defecto de robots.txt cuando crea un archivo usando Yoast y WordPress en una instalación nueva):
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Esto permite a Google rastrearlo.
En cuanto al archivo admin-ajax.php en sí, no tiene que preocuparse de que aparezca accidentalmente en Google o en la indexación porque si mira el archivo, en realidad contiene el siguiente encabezado noindex.
@header( 'X-Robots-Tag: noindex' );
Esta etiqueta le dice a Google que no la indexe.
Si ve otros tipos de recursos que bloquean errores, como JavaScript o CSS, una forma rápida de solucionarlos es volver a la configuración estándar de robots.txt anterior. El wp-content/plugins/ y /wp-includes/ son directorios comunes que hemos visto que los usuarios bloquean por error, lo que a veces causa este tipo de problemas.
Usted puede ver abajo después de permitir el archivo de arriba en nuestro archivo robots.txt nuestros errores de recursos bloqueados resueltos en pocos días en la Consola de Búsqueda de Google.
Resumen
La corrección de errores y advertencias en la Consola de Búsqueda de Google es una parte importante del mantenimiento adecuado de su sitio WordPress. Esto ayuda a garantizar que Google vea su sitio correctamente y lo indexe. Con suerte, la próxima vez que encuentre errores de recursos bloqueados, sabrá cómo solucionarlos mejor.
¿Tiene alguna idea sobre los recursos bloqueados? ¿Has visto esto en tus propios sitios?
Brian tiene una gran pasión por WordPress, lo ha estado utilizando durante más de 10 años e incluso ha desarrollado un par de plugins premium. Brian disfruta de los blogs, las películas y el senderismo. Conéctese con Brian en Twitter.
Deja una respuesta