Eine Robots.txt-Datei mit Suchmaschinen-Anweisungen für Ihre Homepage erstellen

Wozu braucht eine Homepage eine robots.txt-Datei? Eigentlich brauchen Sie nicht unbedingt eine robots.txt. Die robots.txt gibt dem sogenannten Robot oder Spider (so wird das Programm genannt, welches für die Suchmaschinen Homepage besucht und für die Datenbank der Suchmaschinen indiziert) Anweisungen, welche Verzeichnisse oder Seiten Ihrer Homepage er nicht durchsuchen darf (einfach formuliert). Wenn Sie keine robots.txt definieren, sucht der Robot die Datei und findet sie nicht. Das heißt dann für den Robot: er darf alles durchsuchen.

Achtung: Eine robots.txt-Datei brauchen Sie nur bei eigener Domain. Denn Sie müssen die robots.txt in Ihrem Hauptverzeichnis aufspielen. Wenn Ihre Domain z.B. www.meinedomain.de ist, muß Ihre robots.txt unter www.meinedomain.de/robots.txt zu finden sein. Wenn Ihre Homepage eine Unterdomain ist (z.B. http://members.geocity….), brauchen Sie keine robots.txt!!! Denn Ihre Homepage liegt dann in einem Unterverzeichnis. Und in Unterverzeichnissen suchen die Robots nicht nach robots.txt-Dateien.

Gründe, eine robots.txt-Datei zu erstellen:

• Bestimmte Verzeichnisse sollen nicht von den robots durchsucht werden, z.B. die Logdateien oder interne Bereiche.
• Jede nicht gefundene robots.txt wird in der Statistik unter Error 404 aufgeführt. Seit wir bei unserer Homepage eine robots.txt aufgespielt haben, ist der Prozentsatz Error 404 von 1,29 % auf 0,05 % der Seitenabrufe gesunken.
• Die Suchmaschinen durchsuchen Ihre Seite vielleicht einfach besser, wenn Sie eine offizielle Erlaubnis durch Ihre robots.txt bekommen.
• Ich möchte bestimmten Suchmaschinen verbieten, meine Homepage zu indizieren. Oder andersherum kann ich auch nur bestimmten Suchmaschinen erlauben, meine Homepage zu indizieren.

Ganz einfach können Sie eine robots.txt-Datei mit dem Robots-TXT-Generator von Ryte erstellen: de.ryte.com/free-tools/robots-txt-generator

Weitere Infos zu robots.txt-Dateien finden Sie auf folgenden Webseiten:

• bjoernsworld.de/suchmaschinen/robots-txt.html – mit der Datei robots.txt Seiten vor Robots schützen
• robotstxt.org – The Web Robots Pages
• wiki.selfhtml.org/wiki/Grundlagen/Robots.txt – Infos zu Robots.txt bei Selfhtml
• suchfibel.de/6gefunden/robotstxt.htm – Infos über robots.txt-Dateien
• de.wikipedia.org/wiki/Robots_Exclusion_Standard – Robots.txt bei Wikipedia