Guia para utilizar o ficheiro robots.txt

Procédure

Guia para utilizar o ficheiro robots.txt

Se é novo em SEO, terá de criar um ficheiro robots.txt para o seu site.
Este tutorial irá mostrar-lhe o objetivo do ficheiro robots.txt e como pode utilizá-lo para melhorar a sua SEO.

O que é um ficheiro robots.txt?

O ficheiro robots.txt é um ficheiro de texto simples que cria e coloca na raiz do seu sítio Web para dizer aos spiders dos motores de busca para acederem às diferentes páginas Web do seu sítio.

Como funciona um ficheiro robots.txt:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: acrónimo de Search Engine Result Page.

Pode utilizar o ficheiro robots.txt para:

• Fazer com que os robots de pesquisa ignorem páginas duplicadas no seu sítio
• Não indexar determinadas páginas internas do seu sítio Web (por exemplo, o painel de administração ou páginas que contenham informações sensíveis)
• Limitar os robots a indexar determinadas partes do seu sítio ou todo o sítio
• Proibir os robôs de pesquisa de indexar determinados ficheiros no seu sítio, como imagens e PDFs.

Exemplo de directivas robots.txt

Se quiser impedir que os robots visitem o seu sítio e não sejam referidos pelos motores de busca, utilize o seguinte código:

User-agent: * Disallow: /

Também pode impedir que os robôs analisem partes do seu sítio, permitindo-lhes, no entanto, analisar outras secções. O exemplo seguinte diz aos motores de busca e aos spiders para não analisarem a pasta wp-admin, a pasta tmp, a pasta privada e todos os itens destas pastas no seu sítio Web.

User-agent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /prive/

No exemplo acima, http://www.mon-domaine-lws.fr/prive/index.html é um dos URLs bloqueados, mas http://www.mon-domaine-lws.fr/index.html e http://www.mon-domaine-lws.fr/ folder/ serão rastreáveis.

User-agent: * significa que a seguinte regra tem de se aplicar a todos os robôs, mas pode especificar robôs específicos, por exemplo, para o robô do Google: User-agent: Googlebot aqui está a lista completa de robôs, http://www.robotstxt.org/db.html

Ficheiro robots.txt para WordPress

User-agent: * Disallow: /wp-admin/ #disallow access to admin section Disallow: /wp-login.php #disallow access to dashboard login page Disallow: /search/ #disallow access to internal search results page Disallow: *?s=* #desautoriza o acesso à página de resultados de pesquisa interna Disallow: *?p=* #disallow access to pages with bad permalinks Disallow: *&p=* #proibir o acesso a páginas com permalinks incorrectos Disallow: *&preview=* #não permite o acesso a páginas anteriores Disallow: /tag/ #não permite o acesso a páginas de tags Disallow: /author/ #não permite o acesso a páginas de autores Disallow: /404-error/ #não permite o acesso a páginas 404 Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

Pode testar se o seu ficheiro robots.txt está a bloquear o acesso a determinadas páginas do seu sítio Web utilizando a ferramenta para webmasters do Google, visitando esta página e clicando em Open Robots.txt Tester.

Também pode gerar o seu ficheiro robots.txt online utilizando esta ferramenta

Conclusão:

O ficheiroRobots. txt pode desempenhar um papel importante na classificação do seu sítio nos motores de busca. É por isso que precisa de gerir este simples ficheiro com importância e cuidado.

Não hesite em partilhar os seus comentários e perguntas!