Como configurar o ficheiro robots.txt? SiteBuilder Pro

Procédure

O que é o ficheiro Robots.txt?

Trata-se de um ficheiro que indica aos vários motores de busca o que podem ou não indexar. Antes de indexar um sítio Web, os motores de busca consultam o ficheiro robots.txt.

Onde posso encontrar o ficheiro robots.txt num sítio Web?

O ficheiro "robots.txt" está localizado na raiz do seu sítio Web. Em princípio, este ficheiro é gerado automaticamente quando o seu sítio Web é criado, mas é possível modificá-lo de acordo com as suas necessidades.

Como posso ativar o ficheiro robots.txt no SiteBuilder Pro?

Para ativar o ficheiro"robots.txt" no seu sítio Web, é necessário, em primeiro lugar, ligar-se à administração do seu sítio Web.

1. Clique no separador"Definições" na barra de ferramentas do SiteBuilder Pro. Em seguida, clique em"Definições" para abrir o painel de controlo.

2. Vá para o separador"Robots.txt" e seleccione a caixa"Ativar robots.txt".

Por predefinição, se não configurar mais nada no seu ficheiro"robots.txt", este conterá três linhas de código, como se segue:

• User-agent: é utilizado para indicar o robô afetado por esta regra. Cada motor tem o seu próprio robô, cada um com um nome diferente. O carácter * define que a regra se aplica a todos.
• Permitir: Significa"autorização". O carácter / é frequentemente associado a esta linha para definir que todos os URLs do seu sítio podem ser indexados.
• Sitemap: Este é outro ficheiro que contém a estrutura em árvore do seu sítio Web. Contém todas as páginas do seu sítio. Por defeito, o ficheiro"sitemap.xml" é criado automaticamente na raiz do seu sítio Web.

Como posso configurar o ficheiro robots.txt no SiteBuilder Pro?

Pode modificar o ficheiro "robots.txt" a qualquer momento. Poderá ter necessidades específicas a indicar aos vários motores de busca. Por exemplo, se quiser impedir que uma página do seu sítio seja indexada, deve indicar o seguinte no ficheiro "robots.txt

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

É possível excluir várias páginas da indexação. Basta adicionar tantas linhas Disallow quantas desejar:

User-Agent: googlebot Disallow: /page.html Disallow: /page2.html Disallow: /page3.html Sitemap: http://votre-domaine.com/sitemap.xml

Se tiver um ficheiro"robots.txt" grande, é muitas vezes útil comentar as suas linhas para que se possa orientar:

User-Agent: googlebot Disallow: /page1.html # página de teste do meu sítio Web Disallow /tmp # contém ficheiros temporários

Como é que me dirijo a motores de pesquisa específicos?

Para se dirigir a motores de pesquisa específicos, terá de utilizar a seguinte configuração:

User-Agent: googlebot Disallow: /folder/ User-agent: Bingbot Disallow: /folder2/

Como excluir o seu sítio Web da indexação?

Muitas vezes é aconselhável, quando se está a meio da criação do seu sítio Web,excluir temporariamente a indexação, enquanto se termina a configuração das várias páginas. Para impedir que o seu sítio seja indexado, é necessário inserir este código:

User-agent: * Disallow: /

Como posso definir uma exceção no ficheiro robots.txt?

Poderá querer bloquear a indexação de uma pasta inteira, exceto de um ficheiro que seja importante para si. Para tal, tem de bloquear primeiro a indexação de toda a pasta e, em seguida, permitir a indexação de um ou mais ficheiros na mesma pasta.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Conclusão

Agora já pode ativar e configurar o ficheiro"robots.txt" no seu sítio criado com o SiteBuilder Pro. O ficheiro"robots.txt" indicará aos vários motores de busca quais as páginas do seu sítio que pretende indexar.

Não hesite em partilhar os seus comentários e perguntas!