Eine Einführung: robots.txt

Und weil es so ist, daß manche Seiten eines Angebots nicht durch Suchmaschinen erfaßt werden sollen, haben kluge Menschen einen "robot exclusion standard" ersonnen.

Auf die gute Nachricht folgt sofort die schlechte: Dieser Standard ist gar keiner, sondern eine Empfehlung. Will sagen, die Roboter sollen sich daran halten, müssen es aber nicht!

Wie sieht das Ganze nun praktisch aus?

Im Hauptverzeichnis (und nur dort!) ist eine Datei mit dem Namen robots.txt abgespeichert. Mit jedem Browser kann man sich diese Datei ansehen. Schauen Sie sich zum Beispiel meine an: http://www.klug-suchen.de/robots.txt

Wenn Sie Ihre Seiten bei einem Provider abgelegt haben, dann können Sie sich diese Datei auch ansehen; Sie sollten es sogar! (Nochmals: Im Hauptverzeichnis; nicht in Ihrem Verzeichnis!)
Allerdings: Sie dürften wenig Einfluß auf die Eintragungen dort haben...

Wenn es keine robots.txt gibt...

ist das nicht tragisch. Dann ist es den Robotern erlaubt, alle erreichbaren Seiten zu laden.

Was bedeuten die Eintragungen?

Zeilen die mit dem Doppelkreuz (#) anfangen sind Kommentare. Meist wird in der ersten Zeile im Kommentar die mail-Adresse des Verantwortlichen (im Jargon: webmaster) mitgeteilt. Kommentare werden nicht verarbeitet.

In der nächsten Zeile steht so etwas wie
User-Agent: *
Damit wird gesagt, daß alles Folgende für alle Roboter gilt. (Dort kann auch der Name eines bestimmten Roboters stehen; damit kann man "wild gewordene" Roboter gezielt ausschließen.) Dann folgt eine oder folgen mehrere Zeilen etwa so:
Disallow: /CGI
Damit sagt man dem Roboter, daß alle Fragen nach Seiten, die so anfangen, nicht erlaubt sind.

Ich denke, das genügt. Wenn Sie noch mehr wissen wollen, finden Sie (englischsprachige) Informationen u.a. hier.

Alle Teile dieses Angebots unterliegen dem Copyright und sind nach Urheberrechtsgesetz als Datensammelwerk geschützt. Jede Art der Verwertung bedarf der schriftlichen Zustimmung des Rechte-Inhabers.
Darüber hinaus sind alle Teile dieses Angebots steganografisch behandelt, so daß selbst veränderte unerlaubte Nachnutzung sicher nachweisbar sein sollte.