Anleitung zur Verwendung der Datei robots.txt

Procédure

Anleitung zur Verwendung der Datei robots.txt

Wenn Sie mit der Suchmaschinenoptimierung beginnen, müssen Sie eine robots.txt-Datei für Ihre Website erstellen.
Dieses Tutorial zeigt Ihnen den Zweck der robots.txt-Datei und wie Sie sie verwenden können, um Ihre Suchmaschinenoptimierung zu verbessern.

Was ist eine robots.txt-Datei?

Robots.txt ist eine einfache Textdatei, die Sie erstellen und im Stammverzeichnis Ihrer Website platzieren, um Suchmaschinenrobotern den Zugriff auf die verschiedenen Webseiten Ihrer Website anzuweisen.

Wie eine robots.txt-Datei funktioniert:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: Das englische Akronym steht für Search Engine Result Page.

Sie können die Datei robots.txt verwenden, um:

• Doppelte Seiten auf Ihrer Website von Suchmaschinen-Robots ignorieren lassen.
• Bestimmte interne Seiten Ihrer Website nicht indexieren (z. B. Ihr Admin-Panel oder Seiten, die vertrauliche Informationen enthalten).
• Beschränken Sie Robots darauf, bestimmte Teile Ihrer Website oder die gesamte Website zu indexieren.
• Suchmaschinen-Robots verbieten, bestimmte Dateien auf Ihrer Website zu indexieren, z. B. Bilder und PDFs.

Beispiel für robots.txt-Richtlinien

Wenn Sie verhindern möchten, dass Robots Ihre Website besuchen und nicht von Suchmaschinen gelistet werden, verwenden Sie den folgenden Code:

User-agent: * Disallow: /

Sie können auch verhindern, dass Robots bestimmte Bereiche Ihrer Website durchsuchen, während sie andere Bereiche durchsuchen können. Das folgende Beispiel weist Suchmaschinen und Robots an, den Ordner wp-admin, den Ordner tmp und den privaten Ordner sowie alle Elemente in diesen Ordnern auf Ihrer Website nicht zu scannen.

User-agent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /prive/.

Im obigen Beispiel ist http://www.mon-domaine-lws.fr/prive/index.html eine der gesperrten URLs, aber http://www.mon-domaine-lws.fr/index.html und http://www.mon-domaine-lws.fr/ Ordner/ sind durchsuchbar.

User-agent: * bedeutet, dass die folgenden Regeln für alle Bots gelten, Sie können aber auch bestimmte Bots angeben, z. B. für den Google-Roboter: User-agent: Googlebot hier ist die vollständige Liste der Bots, http://www.robotstxt.org/db.html

robots.txt-Datei für WordPress

User-agent: * Disallow: /wp-admin/ #Verhindern Sie den Zugriff auf den Administratorbereich Disallow: /wp-login.php #Verhindern Sie den Zugriff auf die Login-Seite des Dashboards Disallow: /search/ #Verhindern Sie den Zugriff auf die Seite mit den internen Suchergebnissen Disallow: *?s=* #Zugriff auf interne Suchergebnisseiten verbieten Disallow: *?p=* #Verhindern Sie den Zugriff auf Seiten, deren Permalinks nicht funktionieren Disallow: *&p=* #Verweigern Sie den Zugriff auf Seiten, deren Permalinks nicht funktionieren Disallow: *&preview=* #Verhindern Sie den Zugriff auf vorherige Seiten Disallow: /tag/ #Verhindern Sie den Zugriff auf Tag-Seiten Disallow: /author/ #Verhindern Sie den Zugriff auf Autorenseiten Disallow: /404-error/ #Verhindern Sie den Zugriff auf 404-Seiten Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

Sie können mit dem Google Webmaster-Tool testen, ob Ihre robots.txt-Datei den Zugriff auf bestimmte Seiten Ihrer Website blockiert, indem Sie diese Seite besuchen und auf Open Robots.txt Tester klicken.

Sie können Ihre robots.txt-Datei auch online mit diesem Tool generieren.

Schlussfolgerung:

Robots.txt könnte eine wichtige Rolle bei der Positionierung Ihrer Website in Suchmaschinen spielen. Aus diesem Grund sollten Sie diese einfache Datei mit großer Sorgfalt und Vorsicht behandeln.

Bitte teilen Sie uns Ihre Anmerkungen und Fragen mit!