Se avete curiosato nel backend di WordPress, potreste aver notato un’impostazione che dice “Scoraggia i motori di ricerca dall’effettuare l’indicizzazione di questo sito” e vi siete chiesti cosa significasse.
O forse state cercando un modo per nascondere il vostro sito da visitatori indesiderati e vi state chiedendo se questa piccola casella di spunta è sufficiente per mantenere il vostro contenuto al sicuro e privato.
Cosa significa questa opzione? Cosa fa esattamente al vostro sito? E perché dovreste evitare di fare affidamento su di essa, anche se state cercando di nascondere il vostro contenuto?
Ecco le risposte e alcuni altri metodi per deindicizzare il vostro sito e bloccare l’accesso a certe pagine.
Guarda la nostra video guida sull’utilizzo dell’opzione WordPress “Scoraggia i motori di ricerca dall’indicizzazione di questo sito”
Cosa Significa “Scoraggia i Motori di Ricerca dall’Effettuare l’Indicizzazione di Questo Sito”?
Vi siete mai chiesti come i motori di ricerca indicizzano il vostro sito e misurano la SEO? Lo fanno con un programma automatico chiamato spider, conosciuto anche come robot o crawler. Gli spider “scansionano” il web, visitando i siti web e registrando tutti i vostri contenuti.
Google li usa per decidere come classificare e posizionare il vostro sito web nei risultati di ricerca, estrarre i trafiletti dai vostri articoli per la pagina dei risultati di ricerca, e far comparire le vostre immagini in Google Images.
Quando spuntate “Scoraggia i Motori di Ricerca dall’Effettuare l’Indicizzazione di Questo Sito”, WordPress modifica il vostro file robots.txt (un file che dà istruzioni agli spider su come scansionare il vostro sito). Può anche aggiungere un meta tag all’intestazione del vostro sito che dice a Google e ad altri motori di ricerca di non indicizzare alcun contenuto su tutto il sito.
La parola chiave qui è “scoraggiare”. I motori di ricerca non hanno alcun obbligo di onorare questa richiesta, specialmente i motori di ricerca che non usano la sintassi standard robots.txt che usa Google.
I web crawler saranno ancora in grado di trovare il vostro sito, ma i crawler correttamente configurati leggeranno il vostro robots.txt e se ne andranno senza indicizzare il contenuto o mostrarlo nei loro risultati di ricerca.
In passato, questa opzione in WordPress non impediva a Google di mostrare il vostro sito web nei risultati di ricerca, ma solo di indicizzare il suo contenuto. Potreste ancora vedere le vostre pagine apparire nei risultati di ricerca con un errore come “Nessuna informazione è disponibile per questa pagina” o “Una descrizione per questo risultato non è disponibile a causa del robots.txt del sito”.
Anche se Google non indicizzava la pagina, non la nascondeva completamente. Questa anomalia portava le persone a visitare pagine che non dovevano vedere. Grazie a WordPress 5.3, tutto ora funziona correttamente, bloccando sia l’indicizzazione che l’inserimento in lista del sito.
Potete immaginare come questa opzione distruggerebbe la vostra SEO se abilitata per sbaglio. È fondamentale usare questa opzione solo se davvero non volete che nessuno veda il vostro contenuto; e anche in quel caso, potrebbe non essere l’unica misura che volete prendere.
Perché Potreste Non Voler Indicizzare il Vostro Sito
I siti web sono fatti per essere visti dalle persone. Volete che gli utenti leggano i vostri articoli, comprino i vostri prodotti, consumino i vostri contenuti: perché dovreste intenzionalmente cercare di bloccare i motori di ricerca?
Ci sono alcune ragioni per cui potreste voler nascondere una parte o tutto il vostro sito.
- Il sito è in sviluppo e non è pronto per essere visto dal pubblico.
- State usando WordPress come sistema di gestione dei contenuti, ma volete mantenere tali contenuti privati.
- State cercando di nascondere informazioni sensibili.
- Volete che il vostro sito sia accessibile solo a un piccolo numero di persone con un link o solo attraverso inviti, non attraverso pagine di ricerca pubbliche.
- Volete mettere alcuni contenuti dietro un paywall o un altro meccanismo di controllo, come gli articoli esclusivi della newsletter.
- Volete tagliare il traffico verso articoli vecchi e superati.
- Volete evitare di ottenere penalità SEO su pagine di prova o contenuti duplicati.
Ci sono soluzioni migliori per alcune di queste: usando un adeguato server di sviluppo offline, impostando i vostri articoli come privati, o mettendoli dietro una password, ma ci sono ragioni legittime per cui potreste voler deindicizzare parte o tutto il vostro sito.
Come Verificare Se il Vostro Sito Scoraggia i Motori di Ricerca
Anche se potete avere ragioni legittime per deindicizzare il vostro sito, può essere uno shock terribile scoprire che avete attivato questa impostazione senza volerlo o l’avete lasciata attiva per sbaglio. Se state ricevendo zero traffico e sospettate che il vostro sito non venga indicizzato, ecco come confermarlo.
Un modo semplice è quello di controllare la sezione In sintesi che si trova nella schermata iniziale della vostra bacheca di amministrazione. Basta accedere al vostro backend e dare un’occhiata a quel box. Se vedete “Motori di ricerca scoraggiati”, allora sapete che avete attivato questa impostazione.
Un modo ancora più affidabile è controllare il vostro file robots.txt. Potete verificarlo facilmente nel browser senza nemmeno accedere al vostro sito.
Per controllare robots.txt, tutto quello che dovete fare è aggiungere /robots.txt alla fine dell’URL del vostro sito. Per esempio: https://kinsta.com/robots.txt
Se vedete Disallow: /allora l’indicizzazione del vostro intero sito è bloccata.
Se vedete Disallow: seguito da un percorso URL, come Disallow: /wp-admin/, significa che qualsiasi URL con il percorso /wp-admin/ viene bloccato. Questa struttura è normale per alcune pagine, ma se, per esempio, sta bloccando /blog/ dove si trovano pagine che volete indicizzare, potrebbe causare problemi!
Ora che WordPress usa i meta tag piuttosto che robots.txt per deindicizzare il vostro sito, dovreste anche dare un’occhiata al vostro header per le modifiche.
Accedete al vostro backend e andate su Aspetto> Editor del tema. Trovate Editor del team (header.php) e cercate il seguente codice:
Potete anche verificare functions.php per il tag noindex, dato che è possibile inserire codice a distanza nell’intestazione attraverso questo file.
Se trovate questo codice nei file del vostro tema, allora il vostro sito non viene indicizzato da Google. Ma piuttosto che rimuoverlo manualmente, proviamo prima a disattivare l’impostazione originale.
Come Scoraggiare l’Indicizzazione dei Motori di Ricerca in WordPress
Se volete saltare i passaggi extra e andare direttamente all’impostazione originale, ecco come attivare o disattivare l’opzione “Scoraggiare i motori di ricerca” in WordPress.
Accedete alla vostra bacheca di WordPress e andate su Impostazioni> Lettura. Cercate l’opzione Visibilità ai motori di ricerca con una casella di spunta etichettata come “Scoraggia i motori di ricerca dall’effettuare l’indicizzazione di questo sito”.
Se vedete che questa opzione è già attiva e volete che il vostro sito sia indicizzato, allora deselezionatela. Se volete evitare che il vostro sito sia indicizzato, spuntatela (e prendete una nota da qualche parte per ricordarvi di disattivarla più tardi!).
Ora fate clic su Salva modifiche, e siete pronti a partire. Potrebbe volerci del tempo prima che il vostro sito venga reindicizzato o che venga considerato nei risultati di ricerca.
Se il vostro sito è ancora deindicizzato, potete anche rimuovere il codice noindex dal vostro file di header, o modificare manualmente robots.txt per rimuovere il flag “Disallow”.
Questo è abbastanza semplice, ma quali sono le ragioni per cui dovreste evitare questa opzione, o almeno non affidarvi completamente a essa?
Svantaggi dell’Utilizzo dell’Opzione Scoraggiare i Motori di Ricerca
Sembra semplice: spuntare una casella e nessuno potrà vedere il vostro sito. Non è forse sufficiente? Perché dovreste evitare di usare questa opzione da sola?
Quando attivate questa impostazione o qualsiasi altra opzione simile, tutto ciò che fa è aggiungere un tag al vostro header o al vostro robots.txt. Come dimostrato dalle vecchie versioni di WordPress che permettono ancora al vostro sito di essere elencato nei risultati di ricerca, un piccolo difetto o un altro errore può portare le persone a vedere le vostre pagine presumibilmente nascoste.
Inoltre, sta interamente ai motori di ricerca onorare la richiesta di non scansionare il vostro sito. I principali motori di ricerca come Google e Bing di solito lo faranno, ma non tutti i motori di ricerca usano la stessa sintassi robots.txt, e non tutti gli spider che scansionano il web sono inviati dai motori di ricerca.
Per esempio, un servizio che fa uso di web crawler è la Wayback Machine. E se il vostro contenuto è indicizzato da un tale servizio, rimarrà sul web per sempre.
Potreste pensare che, solo perché il vostro sito nuovo di zecca non ha link, sia al sicuro dagli spider, ma questo non è vero. Già solo il fatto che si trovi su un server condiviso, che si invii un’email con un link al vostro sito, o anche visitando il vostro sito in un browser (soprattutto Chrome), il vostro sito può venire scansionato.
Se volete nascondere un contenuto, non è una buona idea aggiungere un parametro e sperare che risolva tutto.
E siamo chiari, se il contenuto che state deindicizzando è di natura sensibile o personale, non dovreste assolutamente fare affidamento a robots.txt o a un meta tag per nasconderlo.
Ultimo ma non meno importante, questa opzione nasconderà completamente il vostro sito dai motori di ricerca, mentre molte volte volete solo deindicizzare alcune pagine.
Quindi cosa dovreste fare al posto di questo metodo o insieme a esso?
Altri Modi per Evitare l’Indicizzazione dei Motori di Ricerca
Anche se l’opzione fornita da WordPress di solito fa il suo lavoro, per certe situazioni è spesso meglio impiegare altri metodi per nascondere il contenuto. Lo stesso Google dice di non usare robots.txt per nascondere le pagine.
Finché il vostro sito ha un nome di dominio e si trova su un server pubblico, non c’è modo di garantire che il vostro contenuto non venga visto o indicizzato dai crawler, a meno che non lo cancelliate o lo nascondiate dietro a una password o un altro requisito di accesso.
Detto questo, quali sono i modi migliori per nascondere il vostro sito o certe pagine su di esso?
Bloccare i Motori di Ricerca con .htaccess
Anche se la sua implementazione è in pratica la stessa dell’utilizzo dell’opzione “Scoraggiare i motori di ricerca”, potreste voler usare manualmente .htaccess per bloccare l’indicizzazione del vostro sito.
Dovrete usare un programma FTP/SFTP per accedere al vostro sito e aprire il file .htaccess, di solito situato nella cartella principale (la prima cartella che vedete quando aprite il vostro sito) o in public_html. Aggiungete questo codice al file e salvate:
Header set X-Robots-Tag "noindex, nofollow"Nota: questo metodo funziona solo per i server Apache. I server NGINX, come quelli che girano su Kinsta, dovranno invece aggiungere questo codice al file .conf, che può essere trovato in /etc/nginx/ (potete trovare un esempio di implementazione del meta tag qui):
add_header X-Robots-Tag "noindex, nofollow";Proteggere con Password le Pagine Sensibili
Se ci sono certi articoli o pagine che non volete che i motori di ricerca indicizzino, il modo migliore per nasconderli è quello di proteggere il vostro sito con una password. In questo modo, solo voi e gli utenti che volete potranno vedere quel contenuto.
Fortunatamente, questa funzionalità è integrata in WordPress, quindi non c’è bisogno di installare alcun plugin. Basta andare su Articoli o Pagine e fare clic su quello che volete nascondere. Modificate la vostra pagina e cercate il menu Stato e visibilità > Visibilità sul lato destro.
Se non state usando Gutenberg, il processo è simile. Potete trovare lo stesso menu nella casella Pubblica.
Cambiate le opzioni di Visibilità in Protetto da password e inserite una password, poi salvate e il vostro contenuto verrà nascosto al pubblico.
E se voleste proteggere con una password tutto il sito? Non è pratico richiedere una password per ogni singola pagina.
Gli utenti di Kinsta sono fortunati: è possibile abilitare la protezione con password dentro Siti> Strumenti, richiedendo sia un nome utente che una password.
Altrimenti, potete usare un plugin di restrizione dei contenuti (per esempio Password Protected). Installatelo e attivatelo, poi andate su Settings> Password Protected e abilitate Password Protected Status. Questo vi dà un controllo più fine, permettendovi anche di mettere in whitelist certi indirizzi IP.
Installare un Plugin per WordPress
Quando la funzionalità di default di WordPress non è sufficiente, un buon plugin può spesso risolvere i vostri problemi.
Per esempio, se volete deindicizzare delle pagine specifiche piuttosto che il vostro intero sito, Yoast vi permette di farlo.
In Yoast SEO, potete aprire una pagina o un articolo che volete nascondere e cercare l’opzione sotto la scheda Avanzate: Consenti ai motori di ricerca di mostrare Articolo nei risultati delle ricerche? Cambiatela in No e la pagina verrà nascosta.
Dovreste notare che entrambi si basano sugli stessi metodi dell’opzione predefinita di WordPress per scoraggiare l’indicizzazione dei motori di ricerca, e sono soggetti agli stessi difetti. Alcuni motori di ricerca potrebbero non onorare la vostra richiesta. Dovrete impiegare altri metodi se volete davvero nascondere completamente questo contenuto.
Un’altra soluzione è quella di mettere un paywall al vostro contenuto o nasconderlo dietro un login obbligatorio. I plugin Simple Membership o Ultimate Member possono aiutarvi a impostare un contenuto gratuito o a pagamento.
Utilizzare un Sito di Staging per i Test
Quando si lavora su progetti di prova o siti web ancora non terminati, la cosa migliore per tenerli nascosti è usare un sito di staging o di sviluppo. Questi siti sono privati, spesso ospitati su una macchina locale a cui nessuno, tranne te e gli altri a cui avete dato il permesso, può accedere.
Molti host web vi forniranno siti di staging facili da implementare e vi permetteranno di portarli sul vostro server pubblico quando sarete pronti. Kinsta offre un sito di staging WordPress con un solo clic per tutti i piani.
Potete accedere ai vostri siti di staging in MyKinsta andando su Siti > Info e facendo clic sul menu a tendina Cambia ambiente. Fate clic sull’ambiente di staging e poi sul pulsante Crea un ambiente di staging. In pochi minuti, il vostro server di sviluppo sarà attivo e pronto per i test.
Se non avete accesso a un modo semplice per creare un sito di staging, il plugin WP STAGING può aiutarvi a duplicare la vostra installazione e spostarla in una cartella per un facile accesso.
Usare Google Search Console per Nascondere Temporaneamente i Siti Web
Google Search Console è un servizio che vi permette di rivendicare la proprietà dei vostri siti web. Con questo viene la possibilità di bloccare temporaneamente Google dall’indicizzazione di alcune pagine.
Questo metodo presenta un paio di problemi: è esclusivo di Google (quindi siti come Bing non saranno interessati) e dura solo 6 mesi.
Ma se volete un modo semplice e veloce per eliminare temporaneamente il vostro contenuto dai risultati di ricerca di Google, questo è il modo per farlo.
Se non l’avete già fatto, dovrete aggiungere il vostro sito a Google Search Console. Fatto questo, aprite Rimozioni e selezionate Rimozioni temporanee > Nuova richiesta. Poi fate clic su Rimuovi solo questo URL e collegate la pagina che volete nascondere.
Si tratta di un modo ancora più affidabile per bloccare il contenuto, ma di nuovo, funziona esclusivamente per Google e dura solo 6 mesi.
Riepilogo
Ci sono molte ragioni per cui potreste voler nascondere il contenuto del vostro sito, ma affidarsi all’opzione “Scoraggiare i motori di ricerca dall’indicizzare questo sito” non è il modo migliore per assicurarsi che tale contenuto non sia visto.
A meno che non vogliate nascondere il vostro intero sito web da internet, non dovreste mai fare clic su questa opzione, poiché può fare un danno enorme alla vostra SEO se viene accidentalmente attivata.
E anche se volete nascondere il vostro sito, questa opzione predefinita è un metodo inaffidabile. Dovrebbe essere accoppiata con la protezione tramite password o altri tipi blocchi, soprattutto se avete a che fare con contenuti sensibili.
Usate altri metodi per nascondere il vostro sito o parti di esso? Fatecelo sapere nella sezione commenti.
Salman Ravoof é uno sviluppatore web autodidatta, uno scrittore, un creatore e un grande ammiratore del Free and Open Source Software (FOSS). Oltre alla tecnologia, è appassionato di scienza, filosofia, fotografia, arte, gatti e cibo. Per saperne di più su di lui, visitate il suo sito web o contattate Salman su X.
Lascia un commento