Wie konfiguriere ich die Datei robots.txt? SiteBuilder Pro

Procédure

Was ist die Datei Robots.txt?

Es handelt sich um eine Datei, die den verschiedenen Suchmaschinen mitteilt, was sie indexieren können und was nicht. Bevor eine Website indexiert wird, sehen sich die Suchmaschinen die Datei robots.txt an.

Wo finde ich die Datei "robots.txt" auf einer Website?

Die Datei "robots.txt" befindet sich im Stammverzeichnis Ihrer Website. Normalerweise wird diese Datei bei der Erstellung Ihrer Website automatisch generiert, Sie können sie jedoch nach Ihren Bedürfnissen ändern.

Wie kann ich die robots.txt-Datei in SiteBuilder Pro aktivieren?

Um die Datei"robots.txt" auf Ihrer Website zu aktivieren, müssen Sie sich zunächst in die Verwaltung Ihrer Website einloggen.

1. Klicken Sie auf die Registerkarte"Einstellungen", die sich in der Symbolleiste von SiteBuilder Pro befindet. Klicken Sie dann auf"Einstellungen", um die Systemsteuerung zu öffnen.

2. Gehen Sie auf die Registerkarte"Robots.txt" und aktivieren Sie das Kontrollkästchen"robots.txt aktivieren".

Wenn Sie nichts anderes in Ihrer"robots.txt"-Datei konfigurieren, enthält sie standardmäßig drei Codezeilen, die wie folgt lauten:

• User-agent: Hier können Sie angeben, welcher Roboter von dieser Regel betroffen ist. Jeder Roboter hat einen anderen Namen, da jede Suchmaschine einen eigenen Roboter hat. Das Zeichen * bedeutet , dass die Regel für alle gilt.
• Allow: Dies bedeutet"zulassen". Das Zeichen / wird oft mit dieser Zeile verbunden, um festzulegen, dass alle URLs auf Ihrer Website indexiert werden können.
• Sitemap: Dies ist eine weitere Datei, die die Baumstruktur Ihrer Website enthält. Alle Seiten Ihrer Website werden hier aufgelistet. Standardmäßig wird die Datei"sitemap.xml" automatisch im Stammverzeichnis Ihrer Website erstellt.

Wie kann ich die Datei robots.txt in SiteBuilder Pro konfigurieren?

Sie können die Datei "robots.txt" jederzeit ändern. Es kann sein, dass Sie spezielle Anforderungen haben, die Sie den verschiedenen Suchmaschinen mitteilen möchten. Wenn Sie beispielsweise verhindern möchten, dass eine Seite Ihrer Website indexiert wird, müssen Sie in der Datei "robots.txt" Folgendes angeben

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

Es ist möglich, mehrere Seiten von der Indexierung auszuschließen. Fügen Sie dazu einfach beliebig viele Disallow-Zeilen ein:

User-Agent: googlebot Disallow: /page.html Disallow: /page2.html Disallow: /page3.html Sitemap: http://votre-domaine.com/sitemap.xml

Wenn Ihre"robots.txt"-Datei umfangreich ist, ist es oft interessant, Ihre Zeilen zu kommentieren, damit Sie sich besser zurechtfinden:

User-Agent: googlebot Disallow: /page1.html # Testseite meiner Website Disallow /tmp # enthält temporäre Dateien

Wie kann ich bestimmte Suchmaschinen ansprechen?

Um bestimmte Suchmaschinen anzusprechen, müssen Sie die folgenden Einstellungen vornehmen:

User-Agent: googlebot Disallow: /dossier/ User-Agent: Bingbot Disallow: /dossier2/

Wie können Sie die Indexierung Ihrer Website ausschließen?

Wenn Sie gerade dabei sind, Ihre Website zu erstellen, ist es oft ratsam, die Suchmaschinenoptimierungvorübergehend auszuschließen, bis die verschiedenen Seiten fertiggestellt sind. Um die Indexierung Ihrer Website zu unterbinden, müssen Sie diesen Code einfügen:

User-agent: * Disallow: /

Wie kann ich eine Ausnahme für die Datei robots.txt definieren?

Es kann vorkommen, dass Sie die Indexierung eines ganzen Ordners blockieren möchten, mit Ausnahme einer Datei, die für Sie wichtig ist. Dazu müssen Sie zunächst den gesamten Ordner für die Indizierung sperren und dann die Indizierung einer oder mehrerer Dateien in diesem Ordner erlauben.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Schlussfolgerung

Sie sind nun in der Lage, die Datei"robots.txt" auf Ihrer mit SiteBuilder Pro erstellten Website zu aktivieren und zu konfigurieren. Mithilfe der Datei"robots.txt" können Sie Suchmaschinen mitteilen, welche Seiten Ihrer Website indexiert werden sollen.

Bitte teilen Sie uns Ihre Anmerkungen und Fragen mit!