robots.txt

Die robots.txt ist eine Art Steuerdatei, mit deren Hilfe man den Suchmaschinen einige Informationen mitgeben kann, bevor diese damit beginnen, die Seite zu durchsuchen und zu indizieren.
Man kann in der robots.txt festlegen, welche Webseiten der Website nicht durchsucht werden sollen, weil sie eventuell doppelten Content enthalten oder aus anderen Gründen nicht bei einer Suche gefunden werden sollen. Auf das Ranking selber hat die Existenz und die Gestaltung der robots.txt keinen Einfluss.

Die Minmalausprägung der robots.txt sieht so aus:

User-agent: *,

Allow /*,

Sitemap: http://www...../sitemap.xml

https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt

Übung

• robots.txt anlegen
• User-Agent festlegen
• Einzelne Dateien oder Bereiche von der Suche ausschließen
• Wildcards verwenden (Beispiele: Disallow /*.pdf, Allow /images/*)
• Verweis auf Sitemap einbauen (User-agent: *…Sitemap: http://www…../sitemap.xml)

Häufige Fehler

• Statt Verzeichnissen werden Pfad-Bestandteile gesperrt
• URLs werden versehentlich ausgeschlossen
• Falscher Dateiname (Groß-/Kleinschreibung): Robots.txt
• Falscher Speicherort (d.h. nicht im Root-Verzeichnis)
• Falsche Datei- oder Verzeichnisnamen
• „Geheime“ Verzeichnisse werden angeben (stattdessen meta name=“robots“ content=“noindex,nofollow“ im Header angeben)
• Achtung: Seiten mit Backlinks werden immer indiziert

https://www.mindshape.de/blog/seo/seo-kompakt-alles-was-ein-seo-uber-die-robots-txt-wissen-muss.html