{"id":79044,"date":"2024-09-17T14:15:14","date_gmt":"2024-09-17T13:15:14","guid":{"rendered":"https:\/\/kinsta.com\/it\/?p=79044&preview=true&preview_id=79044"},"modified":"2024-09-23T16:35:22","modified_gmt":"2024-09-23T15:35:22","slug":"robots-txt-wordpress","status":"publish","type":"post","link":"https:\/\/kinsta.com\/it\/blog\/robots-txt-wordpress\/","title":{"rendered":"Guida al Robots.txt di WordPress: cos’\u00e8 e come usarlo"},"content":{"rendered":"

Avete mai sentito il termine robots.txt e vi siete mai chiesti cosa ha a che fare con il vostro sito web? La maggior parte dei siti web ha un file robots.txt, ma questo non significa che la maggior parte dei proprietari di siti web capisca come funzioni. In questo post speriamo di cambiare questa situazione, offrendo un approfondimento sul file robots.txt di WordPress<\/span> e su come pu\u00f2 controllare e limitare l’accesso al vostro sito.<\/p>\n

<\/div><\/kinsta-auto-toc>\n

C’\u00e8 molto da dire, quindi iniziamo!<\/p>\n

<\/a>Cos’\u00e8 il file robots.txt di WordPress<\/span>?<\/h2>\n

Prima di parlare del file robots.txt di WordPress<\/span>, \u00e8 importante definire cosa sia un “robot” in questo caso. I robot sono qualsiasi tipo di “bot” che visita i siti web su Internet. L’esempio pi\u00f9 comune sono i crawler dei motori di ricerca. Questi bot “strisciano” sul web per aiutare i motori di ricerca<\/a> come Google a indicizzare e classificare i miliardi di pagine presenti su Internet.<\/p>\n

In generale,<\/em> quindi, i bot sono una buona cosa per Internet… o almeno una cosa necessaria. Ma ci\u00f2 non significa necessariamente che voi, o altri proprietari di siti, vogliate che i bot girino liberamente. Il desiderio di controllare il modo in cui i web robot interagiscono con i siti web ha portato alla creazione dello standard di esclusione dei robot<\/strong> a met\u00e0 degli anni Novanta. Il file Robots.txt \u00e8 l’implementazione pratica di questo standard: permette di controllare il modo in cui i bot partecipanti interagiscono con il vostro sito<\/strong>. Potete bloccare completamente i bot, limitare il loro accesso a determinate aree del vostro sito e altro ancora.<\/p>\n

La parte “partecipante” \u00e8 importante, per\u00f2. Il file Robots.txt non pu\u00f2 obbligare<\/em> un bot a seguire le sue direttive. Inoltre, i bot malintenzionati possono ignorare il file robots.txt. Inoltre, anche le organizzazioni pi\u00f9 affidabili ignorano alcuni<\/em> comandi che \u00e8 possibile inserire nel file robots.txt. Ad esempio, Google ignorer\u00e0 qualsiasi regola<\/a> aggiunta al file robots.txt sulla frequenza delle visite dei suoi crawler.<\/p>\n

Se avete molti problemi con i bot, una soluzione di sicurezza come Cloudflare<\/a> o Sucuri<\/a> pu\u00f2 esserti utile.<\/p>\n

Come trovare il file robots.txt?<\/h3>\n

Il file robots.txt si trova nella root del vostro sito web, quindi aggiungendo \/robots.txt dopo il vostro dominio dovreste caricare il file (se ne avete uno). Ad esempio, https:\/\/kinsta.com\/robots.txt.<\/strong><\/p>\n

Quando usare un file robots.txt?<\/h3>\n

Per la maggior parte dei proprietari di siti, i vantaggi di un file robots.txt ben strutturato si riducono a due categorie:<\/p>\n

    \n
  • Ottimizzare le risorse di crawl dei motori di ricerca, indicando loro di non perdere tempo sulle pagine che non volete che vengano indicizzate. Questo aiuta a garantire che i motori di ricerca si concentrino sul crawling delle pagine a cui tenete di pi\u00f9.<\/li>\n
  • Ottimizzare l’utilizzo del server bloccando i bot che sprecano risorse.<\/li>\n<\/ul>\n

    Il Robots.txt non \u00e8 specifico per controllare quali pagine vengono indicizzate dai motori di ricerca<\/h3>\n

    Il file Robots.txt non \u00e8 un modo infallibile per controllare quali pagine vengono indicizzate dai motori di ricerca. Se il vostro obiettivo principale \u00e8 quello di impedire che alcune pagine vengano incluse nei risultati dei motori di ricerca, l’approccio corretto \u00e8 quello di utilizzare un tag meta noindex<\/a> o una password di protezione.<\/p>\n

    Questo perch\u00e9 il vostro robots.txt non dice direttamente ai motori di ricerca di non indicizzare i contenuti, ma dice loro di non scansionarli. Sebbene Google non effettuer\u00e0 il crawling delle aree contrassegnate all’interno del vostro sito, Google stesso afferma<\/a> che se un sito esterno rimanda a una pagina che avete escluso con il file robots.txt, Google potrebbe comunque indicizzare quella pagina.<\/p>\n

    Anche John Mueller, un analista per i webmaster di Google, ha confermato che se una pagina ha dei link che puntano ad essa, anche se \u00e8 bloccata dal file robots.txt, potrebbe comunque essere indicizzata<\/a>. Di seguito riportiamo ci\u00f2 che ha detto in un hangout di Webmaster Central:<\/p>\n

    Una cosa da tenere presente \u00e8 che se queste pagine sono bloccate da robots.txt, in teoria potrebbe accadere che qualcuno si colleghi casualmente a una di queste pagine. E se lo facesse, potremmo indicizzare questo URL<\/strong> senza alcun contenuto perch\u00e9 bloccato da robots.txt. Quindi non sapremmo che non volete che queste pagine vengano indicizzate.<\/p>\n

    Se invece non sono bloccate da robots.txt, potete inserire un meta tag noindex su queste pagine. Se qualcuno dovesse linkarle e noi dovessimo scansionare quel link e pensare che forse c’\u00e8 qualcosa di utile, allora sapremmo che queste pagine non devono essere indicizzate e potremmo escluderle completamente dall’indicizzazione.<\/p>\n

    Quindi, a questo proposito, se in queste pagine c’\u00e8 qualcosa che non volete che venga indicizzato, non disabilitatelo, ma usate noindex<\/strong>.<\/p><\/blockquote>\n

    C’\u00e8 bisogno di un file robots.txt?<\/h3>\n

    \u00c8 importante ricordare che non \u00e8 necessario<\/em> avere un file robots.txt sul proprio sito. Se non avete problemi a far s\u00ec che tutti i bot abbiano libero accesso a tutte le vostre pagine, allora potreste decidere di non aggiungere un file robots.txt, dato che non avete istruzioni reali da dare ai crawler.<\/p>\n

    In alcuni casi potreste anche non essere in grado di aggiungere un file robots.txt a causa delle limitazioni del CMS che state utilizzando. Anche questo va bene, e ci sono altri metodi per indicare ai bot come effettuare il crawling delle pagine senza utilizzare un file robots.txt.<\/p>\n

    Quale codice di stato HTTP deve essere restituito per il file robots.txt?<\/h3>\n

    Il file robots.txt deve restituire un codice di stato HTTP 200 OK affinch\u00e9 i crawler possano accedervi.<\/p>\n

    Se avete problemi a far indicizzare le pagine dai motori di ricerca, vale la pena controllare due volte il codice di stato restituito dal file robots.txt. Qualsiasi codice di stato diverso da 200 potrebbe impedire ai crawler di accedere al vostro sito.<\/p>\n

    Alcuni proprietari di siti hanno segnalato la deindicizzazione di pagine a causa del file robots.txt che restituisce un codice di stato diverso da 200. Un proprietario di un sito web ha chiesto informazioni su un problema di indicizzazione in un hangout dell’ufficio SEO di Google nel marzo 2022 e John Mueller ha spiegato<\/a> che il file robots.txt dovrebbe restituire uno stato 200 se \u00e8 presente, oppure uno stato 4XX se il file non esiste. In questo caso, veniva restituito un errore 500 internal server<\/a>, che secondo Mueller avrebbe potuto portare Googlebot a escludere il sito dall’indicizzazione.<\/p>\n

    Lo stesso si pu\u00f2 notare in questo Tweet, in cui il proprietario di un sito ha segnalato che il suo intero sito \u00e8 stato deindicizzato a causa di un file robots.txt che ha restituito un errore 500.<\/p>\n

    \n

    [Quick SEO tip]<\/p>\n

    If you are having issue with indexing, make sure your robots.txt file is returning either 200 or 404. <\/p>\n

    If your file returns 500, Google will eventually deindex your website, as I've seen with this project. pic.twitter.com\/8KiYLgDVRo<\/a><\/p>\n

    — Antoine Eripret (@antoineripret) November 14, 2022<\/a><\/p><\/blockquote>\n