Eine Robots.txt-Datei mit Suchmaschinen-Anweisungen fĂĽr Ihre Homepage erstellen


Alfahosting - WordPress-Hosting mit Domain

Wozu braucht eine Homepage eine robots.txt-Datei? Eigentlich brauchen Sie nicht unbedingt eine robots.txt. Die robots.txt gibt dem sogenannten Robot oder Spider (so wird das Programm genannt, welches fĂĽr die Suchmaschinen Homepage besucht und fĂĽr die Datenbank der Suchmaschinen indiziert) Anweisungen, welche Verzeichnisse oder Seiten Ihrer Homepage er nicht durchsuchen darf (einfach formuliert). Wenn Sie keine robots.txt definieren, sucht der Robot die Datei und findet sie nicht. Das heiĂźt dann fĂĽr den Robot: er darf alles durchsuchen.

Achtung: Eine robots.txt-Datei brauchen Sie nur bei eigener Domain. Denn Sie mĂĽssen die robots.txt in Ihrem Hauptverzeichnis aufspielen. Wenn Ihre Domain z.B. www.meinedomain.de ist, muĂź Ihre robots.txt unter www.meinedomain.de/robots.txt zu finden sein. Wenn Ihre Homepage eine Unterdomain ist (z.B. http://members.geocity….), brauchen Sie keine robots.txt!!! Denn Ihre Homepage liegt dann in einem Unterverzeichnis. Und in Unterverzeichnissen suchen die Robots nicht nach robots.txt-Dateien.

GrĂĽnde, eine robots.txt-Datei zu erstellen:

  • Bestimmte Verzeichnisse sollen nicht von den robots durchsucht werden, z.B. die Logdateien oder interne Bereiche.
  • Jede nicht gefundene robots.txt wird in der Statistik unter Error 404 aufgefĂĽhrt. Seit wir bei unserer Homepage eine robots.txt aufgespielt haben, ist der Prozentsatz Error 404 von 1,29 % auf 0,05 % der Seitenabrufe gesunken.
  • Die Suchmaschinen durchsuchen Ihre Seite vielleicht einfach besser, wenn Sie eine offizielle Erlaubnis durch Ihre robots.txt bekommen.
  • Ich möchte bestimmten Suchmaschinen verbieten, meine Homepage zu indizieren. Oder andersherum kann ich auch nur bestimmten Suchmaschinen erlauben, meine Homepage zu indizieren.

Ganz einfach können Sie eine robots.txt-Datei mit dem Robots-TXT-Generator von Ryte erstellen: de.ryte.com/free-tools/robots-txt-generator

Weitere Infos zu robots.txt-Dateien finden Sie auf folgenden Webseiten:


Alfahosting - WordPress-Hosting

Fehler melden Sie haben einen Fehler auf meine-erste-homepage.com gefunden? Informieren Sie uns, damit wir den Fehler beheben können!

Neue Seite melden Sie haben ein neues Webmastertool für uns? Hier können Sie die für Webmaster nützliche Webseite bei uns anmelden!
Erstellt mit ❤ Liebe und WordPress