Guida all'utilizzo del file robots.txt

Procédure

Guida all'utilizzo del file robots.txt

Se siete alle prime armi con la SEO, dovrete creare un file robots.txt per il vostro sito.
Questo tutorial vi illustrerà lo scopo del file robots.txt e come utilizzarlo per migliorare la vostra SEO.

Che cos'è un file robots.txt?

Il file robots.txt è un semplice file di testo che viene creato e collocato nella radice del vostro sito web per indicare agli spider dei motori di ricerca l'accesso alle diverse pagine web del vostro sito.

Come funziona un file robots.txt:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: acronimo di Search Engine Result Page.

Il file robots.txt può essere utilizzato per:

• far sì che i robot di ricerca ignorino le pagine duplicate del vostro sito
• Non indicizzare alcune pagine interne del sito (ad esempio, il pannello di amministrazione o le pagine contenenti informazioni sensibili).
• limitare l'indicizzazione da parte dei robot di alcune parti del sito o dell'intero sito
• Vietare ai robot di ricerca di indicizzare alcuni file del sito, come immagini e PDF.

Esempio di direttive robots.txt

Se volete evitare che i robot visitino il vostro sito e non vengano richiamati dai motori di ricerca, utilizzate il seguente codice:

User-agent: * Disallow: /

È anche possibile impedire ai robot di analizzare alcune parti del sito, pur consentendo loro di analizzare altre sezioni. L'esempio seguente indica ai motori di ricerca e agli spider di non analizzare la cartella wp-admin, la cartella tmp, la cartella private e tutti gli elementi contenuti in queste cartelle del vostro sito web.

User-agent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /prive/

Nell'esempio precedente, http://www.mon-domaine-lws.fr/prive/index.html è uno degli URL bloccati, ma le cartelle http://www.mon-domaine-lws.fr/index.html e http://www.mon-domaine-lws.fr// saranno crawlabili.

User-agent: * significa che la seguente regola deve essere applicata a tutti i robot, è possibile specificare robot particolari, ad esempio per il robot Google: User-agent: Googlebot Ecco l'elenco completo dei robot, http://www.robotstxt.org/db.html

file robots.txt per WordPress

Utente-agente: * Disallow: /wp-admin/ #disallow access to admin section Disallow: /wp-login.php #disallow access to dashboard login page Disallow: /search/ #disallow access to internal search results page Disallow: *?s=* #disallow access to internal search results page Disallow: *?p=* #disallow access to pages with bad permalinks Disallow: *&p=* #disallow access to pages with bad permalinks Disallow: *&preview=* #disallow accesso alle pagine precedenti Disallow: /tag/ #disallow accesso alle pagine tag Disallow: /author/ #disallow accesso alle pagine autore Disallow: /404-error/ #disallow accesso alle pagine 404 Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

È possibile verificare se il file robots.txt blocca l'accesso a determinate pagine del sito online utilizzando lo strumento per i Webmaster di Google, visitando questa pagina e facendo clic su Apri Robots.txt Tester.

Potete anche generare il vostro file robots.txt online utilizzando questo strumento .

Conclusioni:

Il filerobots.txt può svolgere un ruolo importante nel posizionamento del vostro sito sui motori di ricerca. Ecco perché è necessario gestire questo semplice file con importanza e cura.

Non esitate a condividere i vostri commenti e le vostre domande!