Vi siete mai chiesti come i motori di ricerca indicizzano il vostro sito e misurano la SEO<\/a>? Lo fanno con un programma automatico chiamato spider, conosciuto anche come robot o crawler. Gli spider “scansionano” il web, visitando i siti web e registrando tutti i vostri contenuti.<\/p>\n Google li usa per decidere come classificare e posizionare il vostro sito web nei risultati di ricerca, estrarre i trafiletti dai vostri articoli per la pagina dei risultati di ricerca, e far comparire le vostre immagini in Google Images.<\/p>\n Quando spuntate “Scoraggia i Motori di Ricerca dall’Effettuare l’Indicizzazione di Questo Sito”, WordPress modifica il vostro file robots.txt<\/a> (un file che d\u00e0 istruzioni agli spider su come scansionare il vostro sito). Pu\u00f2 anche aggiungere un meta tag all’intestazione del vostro sito che dice a Google e ad altri motori di ricerca di non indicizzare alcun contenuto su tutto il sito.<\/p>\n La parola chiave qui \u00e8 “scoraggiare”. I motori di ricerca non hanno alcun obbligo di onorare questa richiesta, specialmente i motori di ricerca che non usano la sintassi standard robots.txt <\/strong>che usa Google.<\/p>\n I web crawler saranno ancora in grado di trovare il vostro sito, ma i crawler correttamente configurati leggeranno il vostro robots.txt <\/strong>e se ne andranno senza indicizzare il contenuto o mostrarlo nei loro risultati di ricerca.<\/p>\n In passato, questa opzione in WordPress non impediva a Google di mostrare il vostro sito web nei risultati di ricerca, ma solo di indicizzare il suo contenuto. Potreste ancora vedere le vostre pagine apparire nei risultati di ricerca con un errore come “Nessuna informazione \u00e8 disponibile per questa pagina” o “Una descrizione per questo risultato non \u00e8 disponibile a causa del robots.txt del sito”.<\/p>\n Anche se Google non indicizzava la pagina, non la nascondeva completamente. Questa anomalia portava le persone a visitare pagine che non dovevano vedere. Grazie a WordPress 5.3<\/a>, tutto ora funziona correttamente, bloccando sia l’indicizzazione che l\u2019inserimento in lista del sito.<\/p>\n Potete immaginare come questa opzione distruggerebbe la vostra SEO se abilitata per sbaglio. \u00c8 fondamentale usare questa opzione solo se davvero non volete che nessuno veda il vostro contenuto; e anche in quel caso, potrebbe non essere l’unica misura che volete prendere.<\/p>\n I siti web sono fatti per essere visti dalle persone. Volete che gli utenti leggano i vostri articoli, comprino i vostri prodotti, consumino i vostri contenuti: perch\u00e9 dovreste intenzionalmente cercare di bloccare i motori di ricerca?<\/p>\n Ci sono alcune ragioni per cui potreste voler nascondere una parte o tutto il vostro sito.<\/p>\n Ci sono soluzioni migliori per alcune di queste: usando un adeguato server di sviluppo offline<\/a>, impostando i vostri articoli come privati<\/a>, o mettendoli dietro una password, ma ci sono ragioni legittime per cui potreste voler deindicizzare parte o tutto il vostro sito.<\/p>\n Anche se potete avere ragioni legittime per deindicizzare il vostro sito, pu\u00f2 essere uno shock terribile scoprire che avete attivato questa impostazione senza volerlo o l\u2019avete lasciata attiva per sbaglio. Se state ricevendo zero traffico<\/a> e sospettate che il vostro sito non venga indicizzato, ecco come confermarlo.<\/p>\n Un modo semplice \u00e8 quello di controllare la sezione In sintesi<\/strong> che si trova nella schermata iniziale della vostra bacheca di amministrazione. Basta accedere al vostro backend e dare un\u2019occhiata a quel box. Se vedete “Motori di ricerca scoraggiati”, allora sapete che avete attivato questa impostazione.<\/p>\n Un modo ancora pi\u00f9 affidabile \u00e8 controllare il vostro file robots.txt<\/strong>. Potete verificarlo facilmente nel browser senza nemmeno accedere al vostro sito.<\/p>\n Per controllare robots.txt<\/strong>, tutto quello che dovete fare \u00e8 aggiungere Se vedete Se vedete Ora che WordPress usa i meta tag piuttosto che robots.txt <\/strong>per deindicizzare il vostro sito, dovreste anche dare un\u2019occhiata al vostro header<\/a> per le modifiche.<\/p>\n Accedete al vostro backend e andate su Aspetto<\/strong>> Editor del tema<\/strong>. Trovate Editor del team (header.php)<\/strong> e cercate il seguente codice:<\/p>\n Potete anche verificare functions.php<\/strong> per il tag Se trovate questo codice nei file del vostro tema, allora il vostro sito non viene indicizzato da Google. Ma piuttosto che rimuoverlo manualmente, proviamo prima a disattivare l’impostazione originale.<\/p>\n Se volete saltare i passaggi extra e andare direttamente all’impostazione originale, ecco come attivare o disattivare l’opzione “Scoraggiare i motori di ricerca” in WordPress.<\/p>\n Accedete alla vostra bacheca di WordPress<\/a> e andate su Impostazioni<\/strong>> Lettura<\/strong>. Cercate l’opzione Visibilit\u00e0 ai motori di ricerca<\/strong> con una casella di spunta etichettata come “Scoraggia i motori di ricerca dall’effettuare l’indicizzazione di questo sito”.<\/p>\n Se vedete che questa opzione \u00e8 gi\u00e0 attiva e volete che il vostro sito sia indicizzato, allora deselezionatela. Se volete evitare che il vostro sito sia indicizzato, spuntatela (e prendete una nota da qualche parte per ricordarvi di disattivarla pi\u00f9 tardi!).<\/p>\n Ora fate clic su Salva modifiche<\/strong>, e siete pronti a partire. Potrebbe volerci del tempo prima che il vostro sito venga reindicizzato o che venga considerato nei risultati di ricerca.<\/p>\n Se il vostro sito \u00e8 ancora deindicizzato, potete anche rimuovere il codice Questo \u00e8 abbastanza semplice, ma quali sono le ragioni per cui dovreste evitare questa opzione, o almeno non affidarvi completamente a essa?<\/p>\n Sembra semplice: spuntare una casella e nessuno potr\u00e0 vedere il vostro sito. Non \u00e8 forse sufficiente? Perch\u00e9 dovreste evitare di usare questa opzione da sola?<\/p>\n Quando attivate questa impostazione o qualsiasi altra opzione simile, tutto ci\u00f2 che fa \u00e8 aggiungere un tag al vostro header o al vostro robots.txt<\/strong>. Come dimostrato dalle vecchie versioni di WordPress che permettono ancora al vostro sito di essere elencato nei risultati di ricerca, un piccolo difetto o un altro errore<\/a> pu\u00f2 portare le persone a vedere le vostre pagine presumibilmente nascoste.<\/p>\n Inoltre, sta interamente ai motori di ricerca onorare la richiesta di non scansionare il vostro sito. I principali motori di ricerca come Google e Bing di solito lo faranno, ma non tutti i motori di ricerca usano la stessa sintassi robots.txt<\/strong>, e non tutti gli spider che scansionano il web sono inviati dai motori di ricerca<\/a>.<\/p>\n Per esempio, un servizio che fa uso di web crawler \u00e8 la Wayback Machine<\/a>. E se il vostro contenuto \u00e8 indicizzato da un tale servizio, rimarr\u00e0 sul web per sempre.<\/p>\n Potreste pensare che, solo perch\u00e9 il vostro sito nuovo di zecca non ha link, sia al sicuro dagli spider, ma questo non \u00e8 vero. Gi\u00e0 solo il fatto che si trovi su un server condiviso, che si invii un’email con un link al vostro sito, o anche visitando il vostro sito in un browser (soprattutto Chrome), il vostro sito pu\u00f2 venire scansionato.<\/p>\n Se volete nascondere un contenuto, non \u00e8 una buona idea aggiungere un parametro e sperare che risolva tutto.<\/p>\n E siamo chiari, se il contenuto che state deindicizzando \u00e8 di natura sensibile o personale<\/a>, non dovreste assolutamente fare affidamento a robots.txt<\/strong> o a un meta tag per nasconderlo.<\/p>\n Ultimo ma non meno importante, questa opzione nasconder\u00e0 completamente il vostro sito dai motori di ricerca, mentre molte volte volete solo deindicizzare alcune pagine.<\/p>\n Quindi cosa dovreste fare al posto di questo metodo o insieme a esso?<\/p>\n Anche se l’opzione fornita da WordPress di solito fa il suo lavoro, per certe situazioni \u00e8 spesso meglio impiegare altri metodi per nascondere il contenuto. Lo stesso Google dice di non usare robots.txt per nascondere le pagine<\/a>.<\/p>\n Finch\u00e9 il vostro sito ha un nome di dominio<\/a> e si trova su un server pubblico, non c’\u00e8 modo di garantire che il vostro contenuto non venga visto o indicizzato dai crawler, a meno che non lo cancelliate o lo nascondiate dietro a una password o un altro requisito di accesso.<\/p>\n Detto questo, quali sono i modi migliori per nascondere il vostro sito o certe pagine su di esso?<\/p>\n Anche se la sua implementazione \u00e8 in pratica la stessa dell’utilizzo dell’opzione “Scoraggiare i motori di ricerca”, potreste voler usare manualmente .htaccess<\/strong> per bloccare l’indicizzazione del vostro sito.<\/p>\n Dovrete usare un programma FTP\/SFTP<\/a> per accedere al vostro sito e aprire il file .htaccess<\/a>, di solito situato nella cartella principale (la prima cartella che vedete quando aprite il vostro sito) o in public_html<\/strong>. Aggiungete questo codice al file e salvate:<\/p>\n Nota: questo metodo funziona solo per i server Apache. I server NGINX, come quelli che girano su Kinsta, dovranno invece aggiungere questo codice al file .conf<\/strong>, che pu\u00f2 essere trovato in \/etc\/nginx\/<\/strong> (potete trovare un esempio di implementazione del meta tag<\/a> qui):<\/p>\n Se ci sono certi articoli o pagine che non volete che i motori di ricerca indicizzino, il modo migliore per nasconderli \u00e8 quello di proteggere il vostro sito con una password<\/a>. In questo modo, solo voi e gli utenti che volete potranno vedere quel contenuto.<\/p>\n Fortunatamente, questa funzionalit\u00e0 \u00e8 integrata in WordPress, quindi non c’\u00e8 bisogno di installare alcun plugin. Basta andare su Articoli<\/strong> o Pagine<\/strong> e fare clic su quello che volete nascondere. Modificate la vostra pagina e cercate il menu Stato e visibilit\u00e0 <\/strong>> Visibilit\u00e0<\/strong> sul lato destro.<\/p>\n Se non state usando Gutenberg, il processo \u00e8 simile. Potete trovare lo stesso menu nella casella Pubblica<\/strong>.<\/p>\n Cambiate le opzioni di Visibilit\u00e0<\/strong> in Protetto da password<\/strong> e inserite una password, poi salvate e il vostro contenuto verr\u00e0 nascosto al pubblico.<\/p>\n E se voleste proteggere con una password tutto il sito? Non \u00e8 pratico richiedere una password per ogni singola pagina.<\/p>\n Gli utenti di Kinsta sono fortunati: \u00e8 possibile abilitare la protezione con password dentro Siti<\/strong>> Strumenti<\/strong>, richiedendo sia un nome utente che una password.<\/p>\n Altrimenti, potete usare un plugin di restrizione dei contenuti<\/a> (per esempio Password Protected<\/a>). Installatelo e attivatelo, poi andate su Settings<\/strong>> Password Protected<\/strong> e abilitate Password Protected Status<\/strong>. Questo vi d\u00e0 un controllo pi\u00f9 fine, permettendovi anche di mettere in whitelist certi indirizzi IP.<\/p>\nCosa Significa “Scoraggia i Motori di Ricerca dall’Effettuare l’Indicizzazione di Questo Sito”?<\/h2>\n
Perch\u00e9 Potreste Non Voler Indicizzare il Vostro Sito<\/h3>\n
\n
Come Verificare Se il Vostro Sito Scoraggia i Motori di Ricerca<\/h2>\n
![\"\"In](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/at-a-glance-search-engines-discouraged.png\")
\/robots.txt<\/code> alla fine dell’URL del vostro sito. Per esempio: https:\/\/kinsta.com\/robots.txt<\/code><\/p>\nDisallow: \/<\/code>allora l’indicizzazione del vostro intero sito \u00e8 bloccata.<\/p>\n![](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/kinsta-robots-txt.png\")
Disallow:<\/code> seguito da un percorso URL, come Disallow: \/wp-admin\/<\/code>, significa che qualsiasi URL<\/a> con il percorso \/wp-admin\/<\/code> viene bloccato. Questa struttura \u00e8 normale per alcune pagine, ma se, per esempio, sta bloccando \/blog\/<\/code> dove si trovano pagine che volete indicizzare, potrebbe causare problemi!<\/p>\n<\/code><\/pre>\n![\"The](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/header-php-meta-tag.jpg\")
noindex<\/code>, dato che \u00e8 possibile inserire codice a distanza nell’intestazione attraverso questo file.<\/p>\nCome Scoraggiare l’Indicizzazione dei Motori di Ricerca in WordPress<\/h2>\n
![\"Casella](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/discourage-search-engines.png\")
noindex<\/code> dal vostro file di header, o modificare manualmente robots.txt<\/strong> per rimuovere il flag “Disallow”.<\/p>\nSvantaggi dell’Utilizzo dell’Opzione Scoraggiare i Motori di Ricerca<\/h3>\n
![\"Schermata](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/wayback-machine.png\")
Altri Modi per Evitare l’Indicizzazione dei Motori di Ricerca<\/h2>\n
Bloccare i Motori di Ricerca con .htaccess<\/h3>\n
Header set X-Robots-Tag \"noindex, nofollow\"<\/code><\/pre>\nadd_header X-Robots-Tag \"noindex, nofollow\";<\/code><\/pre>\nProteggere con Password le Pagine Sensibili<\/h3>\n
![\"Impostare](\"https:\/\/kinsta.com\/wp-content\/uploads\/2021\/07\/password-protect-post.jpg\")