Si ha explorado el backend de WordPress, es posible que hayas notado una configuración que dice «Disuadir a los motores de búsqueda de indexar este sitio» y te hayas preguntado qué significa.
O tal vez estés buscando una forma de ocultar tu sitio de visitantes no deseados y te pregunte si esta pequeña casilla es suficiente para mantener tu contenido privado de forma segura.
¿Qué significa esta opción? ¿Qué hace exactamente a tu sitio? ¿Y por qué debes evitar recurrir a ella, aunque intentes ocultar su contenido?
Aquí están las respuestas y algunos otros métodos para desindexar tu sitio y bloquear el acceso a ciertas páginas.
Echa un vistazo a nuestra guía en vídeo para utilizar la opción «Disuadir a los Motores de Búsqueda de Indexar este Sitio» en WordPress
¿Qué significa «disuadir a los motores de búsqueda de indexar este sitio»?
¿Te has preguntado alguna vez cómo los motores de búsqueda indexan tu sitio y miden tu SEO? Lo hacen con un programa automatizado llamado araña, también conocido como robot o rastreador. Las arañas «rastrean» la web, visitando sitios web y registrando todo su contenido.
Google las utiliza para decidir cómo clasificar y situar tu sitio web en los resultados de búsqueda, para extraer fragmentos de sus artículos para la página de resultados de búsqueda y para incluir sus imágenes en Google Imágenes.
Al marcar la opción «Disuadir a los motores de búsqueda de indexar este sitio», WordPress modifica tu archivo robots.txt (un archivo que da instrucciones a las arañas sobre cómo rastrear un sitio). También puedes añadir una metaetiqueta a la cabecera de tu sitio que indique a Google y a otros motores de búsqueda que no indexen ningún contenido de tu sitio.
La palabra clave aquí es «disuadir»: Los motores de búsqueda no tienen ninguna obligación de atender esta solicitud, especialmente los motores de búsqueda que no utilizan la sintaxis estándar de robots.txt que utiliza Google.
Los rastreadores web podrán seguir encontrando tu sitio, pero los rastreadores configurados correctamente leerán tu robots.txt y se irán sin indexar el contenido ni mostrarlo en sus resultados de búsqueda.
En el pasado, esta opción de WordPress no impedía que Google mostrara tu sitio web en los resultados de búsqueda, sino que indexara su contenido. Podías seguir viendo tus páginas en los resultados de búsqueda con un error como «No hay información disponible para esta página» o «No hay una descripción disponible para este resultado debido al robots.txt del sitio».
Aunque Google no indexaba la página, tampoco la ocultaba por completo. Esta anomalía hacía que la gente pudiera visitar páginas que no debían ver. Gracias a WordPress 5.3, ahora funciona correctamente, bloqueando tanto la indexación como el listado del sitio.
Puedes imaginar cómo esto destruiría tu SEO si lo activas por accidente. Es fundamental usar esta opción sólo si realmente no quieres que nadie vea tu contenido – e incluso entonces, puede que no sea la única medida que quieras tomar.
Por qué podría no querer indexar tu sitio
Los sitios web están hechos para ser vistos por la gente.Tú quieres que los usuarios lean tus artículos, compren tus productos, consuman tu contenido, ¿por qué iba a intentar bloquear intencionadamente los motores de búsqueda?
Existen algunas razones por las que puede querer ocultar parte o la totalidad de su sitio.
- Tu sitio está en desarrollo y no está listo para ser visto por el público.
- Utilizas WordPress como sistema de gestión de contenidos, pero quieres mantener dicho contenido en privado.
- Estás tratando de ocultar información sensible.
- Quieres que tu sitio sea accesible sólo para un pequeño número de personas con un enlace o a través de invitaciones solamente, no a través de páginas de búsqueda pública.
- Quieres poner algunos contenidos detrás de un muro de pago u otra puerta, como los artículos exclusivos del boletín.
- Quieres cortar el tráfico de los artículos viejos y obsoletos.
- Quieres evitar que te penalicen por SEO en las páginas de prueba o por contenido duplicado.
Hay mejores soluciones para algunas de ellas – utilizar un servidor de desarrollo fuera de línea adecuado, configurar tus artículos como privados o ponerlos detrás de una contraseña-, pero hay razones legítimas por las que puedas querer desindexar parte o la totalidad de tu sitio.
Cómo comprobar si tu sitio web está disuadiendo a los motores de búsqueda
Aunque puedes tener razones legítimas para desindexar tu sitio, puede ser un shock horrible saber que has activado esta configuración sin querer o que la has dejado activada por accidente. Si no recibes tráfico y sospechas que tu sitio no está siendo indexado, aquí tienes cómo confirmarlo.
Una forma sencilla es marcar la casilla De un vistazo situada en la pantalla de inicio de tu panel de administración. Sólo tienes que entrar en tu backend y marcar la casilla. Si ves la casilla «Motores de búsqueda disuadidos», ya sabes que has activado esa configuración.
Una forma aún más fiable es comprobar tu robots.txt. Puedes comprobarlo fácilmente en el navegador sin ni siquiera iniciar sesión en su sitio.
Para comprobar el archivo robots.txt, todo lo que tienes que hacer es añadir /robots.txt al final de la URL de su sitio. Por ejemplo: https://kinsta.com/robots.txt
Si ves Disallow: /entonces todo tu sitio está siendo bloqueado de la indexación.
Si ves Disallow: seguido de una ruta de URL, como Disallow: /wp-admin/, significa que cualquier URL con la ruta /wp-admin/ está siendo bloqueada. Esta estructura es normal para algunas páginas, pero si, por ejemplo, está bloqueando /blog/que tiene páginas que quieres indexar, ¡podría causar problemas!
Ahora que WordPress utiliza las metaetiquetas en lugar de robots.txt para desindexar tu sitio, también deberías comprobar si tu cabecera ha sido modificada.
Inicia una sesión en tu backend y dirígete a Apariencia > Editor de temas. Encuentra el encabezado del tema (header.php) y busca el siguiente código:
<meta name='robots' content='noindex,nofollow' />
También puedes comprobar el archivo functions.php para la etiqueta noindex, ya que es posible insertar código de forma remota en la cabecera a través de este archivo.
Si encuentras este código en los archivos de tu tema, entonces tu sitio no está siendo indexado por Google. Pero en lugar de eliminarlo manualmente, vamos a intentar desactivar primero la configuración original.
Cómo disuadir la indexación en los motores de búsqueda en WordPress
Si quieres saltarte los pasos extra e ir directamente a la configuración original, aquí tienes cómo activar o desactivar la opción «Disuadir los motores de búsqueda» en WordPress.
Acceda a tu panel de control de WordPress y navegue hasta Configuración > Lectura. Busca la opción de Visibilidad en los motores de búsqueda con una casilla de verificación etiquetada como «Disuadir a los motores de búsqueda de indexar este sitio».
Si ves que ya está activada y quieres que tu sitio sea indexado, desactívala. Si quiere evitar que tu sitio sea indexado, márcalo (y anota en algún lugar una nota que te recuerde que debe desactivarlo más tarde).
Ahora hazclic en Guardar cambios, y ya está listo. Es posible que tu sitio web tarde un poco en ser reindexado o en ser retirado de los resultados de búsqueda.
Si tu sitio sigue desindexado, también puedes eliminar el código noindex de su archivo de cabecera o editar manualmente el archivo robots.txt para eliminar la bandera «Disallow».
Esto es bastante sencillo, pero ¿cuáles son las razones por las que debería evitar esta opción, o al menos no depender totalmente de ella?
Desventajas de utilizar la opción de disuadir a los motores de búsqueda
Parece sencillo: marca una casilla y nadie podrá ver tu sitio. ¿No es suficiente? ¿Por qué deberías evitar utilizar esta opción por sí sola?
Cuando activas esta opción o cualquier otra similar, lo único que haces es añadir una etiqueta a tu cabecera o a tu robots.txt. Como demuestran las versiones más antiguas de WordPress que todavía permiten que tu sitio aparezca en los resultados de búsqueda, un pequeño fallo u otro error puede hacer que la gente vea sus páginas supuestamente ocultas.
Además, depende enteramente de los motores de búsqueda el respetar la petición de no rastrear su sitio. Los principales motores de búsqueda como Google y Bing suelen hacerlo, pero no todos los motores de búsqueda utilizan la misma sintaxis de robots.txt, y no todas las arañas que rastrean la web son enviadas por los motores de búsqueda.
Por ejemplo, un servicio que utiliza rastreadores web es Wayback Machine. Y si tu contenido es indexado por dicho servicio, estará en la web para siempre.
Es posible que pienses que sólo porque tu flamante sitio no tiene enlaces está a salvo de las arañas, pero eso no es cierto. Estar en un servidor compartido, enviar un correo electrónico con un enlace a tu sitio web, o incluso visitar tu sitio en un navegador (especialmente Chrome) puede abrir tu sitio a ser rastreado.
Si quieres ocultar contenido, no es una buena idea añadir un parámetro y esperar que haga el truco.
Y seamos claros, si el contenido que está desindexando es de naturaleza sensible o personal, no debe confiar en absoluto en robots.txt o en una etiqueta meta para ocultarlo.
Por último, pero no por ello menos importante, esta opción ocultará por completo tu sitio de los motores de búsqueda, mientras que muchas veces sólo se deseas desindexar ciertas páginas.
Entonces, ¿qué deberías hacer en lugar de este método o junto a él?
Otras formas de evitar la indexación en los motores de búsqueda
Aunque la opción que ofrece WordPress suele cumplir su función, en determinadas situaciones suele ser mejor emplear otros métodos para ocultar contenidos. Incluso el propio Google dice que no hay que utilizar robots.txt para ocultar páginas.
Mientras tu sitio tenga un nombre de dominio y esté en un servidor público, no hay forma de garantizar que tu contenido no sea visto o indexado por los rastreadores, a menos que lo elimines o lo ocultes tras una contraseña o un requisito de inicio de sesión.
Dicho esto, ¿cuáles son las mejores formas de ocultar tu sitio o ciertas páginas del mismo?
Bloquear los motores de búsqueda con .htaccess
Aunque su implementación es funcionalmente la misma que la de la opción «Disuadir a los motores de búsqueda», es posible que quieras utilizar manualmente .htaccess para bloquear la indexación de tu sitio.
Tendrás que utilizar un programa FTP/SFTP para acceder a tu sitio y abrir el archivo .htaccess, que normalmente se encuentra en la carpeta raíz (la primera carpeta que ve cuando abre su sitio) o en public_html. Añade este código al archivo y guárdalo:
Header set X-Robots-Tag "noindex, nofollow"Nota: Este método sólo funciona para servidores Apache. Los servidores NGINX, como los que se ejecutan en Kinsta, tendrán que añadir este código al archivo .conf en su lugar, que se puede encontrar en /etc/nginx/ (puede encontrar un ejemplo de implementación de metaetiquetas aquí):
add_header X-Robots-Tag "noindex, nofollow";Proteger con contraseña las páginas sensibles
Si hay ciertos artículos o páginas que no quieres que los motores de búsqueda indexen, la mejor manera de ocultarlos es proteger tu sitio con una contraseña. Así, sólo tú y los usuarios que quieras podréis ver ese contenido.
Por suerte, esta funcionalidad está integrada en WordPress, por lo que no es necesario instalar ningún plugin. Sólo tienes que ir a Posts Pages y hacer clic en la que quieras ocultar. Edita tu página y busca el menú Estado y visibilidad > Visibilidad en el lado derecho.
Si no estás usando Gutenberg, el proceso es similar. Puedes encontrar el mismo menú en el cuadro de publicación.
Cambia la Visibilidad a Protegido con Contraseña e introduce una contraseña, luego guarda – y tu contenido estará ahora oculto al público en general.
¿Y si quieres proteger con contraseña todo tu sitio web? No es práctico exigir una contraseña para cada página.
Los usuarios de Kinsta están de suerte: pueden activar la protección por contraseña en Sitios > Herramientas, que requiere un nombre de usuario y una contraseña.
Si no, puedes utilizar un plugin de restricción de contenidos (por ejemplo, Password Protected). Instálalo y actívalo, luego dirígete a Configuración > Protegido con contraseña y activa el estado de protección con contraseña. Esto te ofrece un control más fino, permitiéndote incluso poner en lista blanca ciertas direcciones IP.
Instalar un plugin de WordPress
Cuando la funcionalidad por defecto de WordPress no es suficiente, un buen plugin puede a menudo resolver tus problemas.
Por ejemplo, si quieres desindexar páginas específicas en lugar de todo tu sitio, Yoast tiene esta opción disponible.
En Yoast SEO, puedes abrir una página que quieras ocultar y buscar la opción en la pestaña Avanzado: ¿Permitir que los motores de búsqueda muestren esta publicación en los resultados de búsqueda? Cámbiala a No y la página se ocultará.
Debes tener en cuenta que ambas se basan en los mismos métodos que la opción por defecto de WordPress para disuadir la indexación por parte de los motores de búsqueda, y están sujetas a los mismos fallos. Es posible que algunos motores de búsqueda no acepten tu solicitud. Tendrás que emplear otros métodos si realmente quiere ocultar este contenido por completo.
Otra solución es poner un muro de pago a tu contenido o esconderlo detrás de un inicio de sesión obligatorio. Los plugins Simple Membership o Ultimate Member pueden ayudarte a configurar contenidos de membresía gratuitos o de pago.
Utiliza un sitio de prueba para las pruebas
Cuando trabajes en proyectos de prueba o en sitios web en progreso, tu mejor opción para mantenerlos ocultos es utilizar un sitio de ensayo o de desarrollo. Estos sitios web son privados, a menudo alojados en una máquina local a la que nadie más que tú y otras personas a las que has permitido acceder.
Muchos proveedores de alojamiento web te proporcionarán sitios staging fáciles de implementar y te permitirán enviarlos a su servidor público cuando esté listo. Kinsta dispone de un sitio de staging de WordPress con un solo clic para todos los planes.
Puedes acceder a tus sitios de staging en MyKinsta yendo a Sitios > Información y haciendo clic en el menú desplegable Cambiar entorno. Haz clic en el entorno staging y luego en el botón Crear un entorno staging. En unos minutos, tu servidor de desarrollo estará listo para las pruebas.
Si no tienes acceso a una forma fácil de crear un sitio de ensayo, el plugin WP STAGING puede ayudarte a duplicar tu instalación y moverla a una carpeta para facilitar el acceso.
Utilizar Google Search Console para ocultar temporalmente los sitios web
Google Search Console es un servicio que te permite reclamar la propiedad de tus sitios web. Con esto viene la capacidad de bloquear a Google para que no indexe ciertas páginas temporalmente.
Este método tiene un par de problemas: Es exclusivo de Google (por lo que sitios como Bing no se verán afectados) y sólo dura 6 meses.
Pero si quieres una manera rápida y fácil de sacar tu contenido de los resultados de búsqueda de Google temporalmente, esta es la manera de hacerlo.
Si aún no lo has hecho, tendrás que añadir tu sitio a Google Search Console. Una vez hecho esto, abre las eliminaciones y selecciona Eliminación temporal > Nueva solicitud. A continuación, haz clic en Eliminar sólo esta URL y enlaza la página que quieres ocultar.
Esta es una forma aún más fiable de bloquear contenidos, pero de nuevo, funciona exclusivamente para Google y sólo dura 6 meses.
Resumen
Hay muchas razones por las que puedes querer ocultar contenido en tu sitio, pero confiar en la opción «Disuadir a los motores de búsqueda de indexar este sitio» no es la mejor manera de asegurarse de que dicho contenido no se vea.
A menos que quieras ocultar todo tu sitio web de la web, nunca debes hacer clic en esta opción, ya que puede hacer un gran daño a tu SEO si se activa accidentalmente.
E incluso si quieres ocultar tu sitio, esta opción por defecto es un método poco fiable. Debería combinarse con la protección por contraseña u otro tipo de bloqueo, especialmente si se trata de contenido sensible.
¿Utilizas algún otro método para ocultar tu sitio o partes de él? Háznoslo saber en la sección de comentarios.
Salman Ravoof es desarrollador web autodidacta, escritor, creador y un gran admirador del Software Libre y de Código Abierto (FOSS, Free and Open Source Software). Además de la tecnología, le apasionan la ciencia, la filosofía, la fotografía, las artes, los gatos y la comida. Obtén más información sobre él en su sitio web, y conecta con Salman en X.
Deja una respuesta