Come si configura il file robots.txt? SiteBuilder Pro

Procédure

Che cos'è il file Robots.txt?

È un file che indica ai vari motori di ricerca cosa possono o non possono indicizzare. Prima di indicizzare un sito web, i motori di ricerca consultano il file robots.txt.

Dove si trova il file robots.txt in un sito web?

Il file "robots.txt" si trova nella root del sito web. In linea di massima, questo file viene generato automaticamente al momento della creazione del sito web, ma è possibile modificarlo in base alle proprie esigenze.

Come si attiva il file robots.txt in SiteBuilder Pro?

Per attivare il file"robots.txt" sul vostro sito web, dovete innanzitutto collegarvi all'amministrazione del vostro sito web.

1. Cliccare sulla scheda"Impostazioni" nella barra degli strumenti di SiteBuilder Pro. Cliccare quindi su"Impostazioni" per aprire il pannello di controllo.

2. Andare alla scheda"Robots.txt" e selezionare la casella"Abilita robots.txt".

Per impostazione predefinita, se non si configura nient'altro nel file"robots.txt", questo conterrà tre righe di codice, come segue:

• User-agent: viene utilizzato per indicare il robot interessato da questa regola. Ogni motore ha il proprio robot, ciascuno con un nome diverso. Il carattere * definisce che la regola si applica a tutti.
• Consenti: Significa"autorizzazione". Il carattere / è spesso associato a questa riga per definire che tutti gli URL del sito possono essere indicizzati.
• Sitemap: si tratta di un altro file contenente la struttura ad albero del vostro sito web. Contiene tutte le pagine del sito. Per impostazione predefinita, il file"sitemap.xml" viene creato automaticamente nella radice del sito.

Come si configura il file robots.txt in SiteBuilder Pro?

È possibile modificare il file "robots.txt" in qualsiasi momento. Potreste avere esigenze specifiche da indicare ai vari motori di ricerca. Ad esempio, se si vuole impedire che una pagina del sito venga indicizzata, è necessario indicare nel file "robots.txt" quanto segue

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

È possibile escludere diverse pagine dall'indicizzazione. È sufficiente aggiungere tutte le linee di disconoscimento desiderate:

User-Agent: googlebot Disallow: /page.html Disallow: /page2.html Disallow: /page3.html Sitemap: http://votre-domaine.com/sitemap.xml

Se avete un file"robots.txt" di grandi dimensioni, spesso è utile commentare le righe in modo da potervi orientare:

User-Agent: googlebot Disallow: /page1.html # pagina di prova del mio sito web Disallow /tmp # contiene file temporanei

Come posso rivolgermi a motori di ricerca specifici?

Per rivolgersi a motori di ricerca specifici, è necessario utilizzare la seguente configurazione:

User-Agent: googlebot Disallow: /folder/ User-agent: Bingbot Disallow: /folder2/

Come si fa a escludere il proprio sito web dall'indicizzazione?

Spesso è consigliabile, quando si è nel bel mezzo della creazione del sito web,escludere temporaneamente l'indicizzazione, mentre si finisce di impostare le varie pagine. Per evitare che il vostro sito venga indicizzato, dovete inserire questo codice:

User-agent: * Disallow: /

Come si definisce un'eccezione nel file robots.txt?

È possibile che si voglia bloccare l'indicizzazione di un'intera cartella, ad eccezione di un file importante per l'utente. Per fare ciò, è necessario prima bloccare l'indicizzazione dell'intera cartella e poi consentire l'indicizzazione di uno o più file nella stessa cartella.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Conclusione

Ora siete in grado di attivare e configurare il file"robots.txt" sul vostro sito creato con SiteBuilder Pro. Il file"robots.txt" indicherà ai vari motori di ricerca quali pagine del vostro sito volete indicizzare.

Non esitate a condividere i vostri commenti e le vostre domande!