Wie verhindere ich, dass Suchmaschinen meine Seite in ihren Index aufnehmen?

Im Head jeder Seite steht normalerweise die folgende Zeile:

<meta name="robots" content="index, follow"  />

<meta name="robots" content="noindex,nofollow" />

Durch diesen Meta Tag sagst du den Suchmaschinen, dass diese Seite nicht in deren Index soll und wenn die Suchmaschinen nett sind werden Sie deine Seite aus dem Index löschen, wenn Sie die Seite noch einmal besuchen und diesen Meta Tag entdecken.

Wenn du Links auf deiner Seite hast, denen die Suchmaschinen nicht folgen sollen, kannst du folgendes verwenden:

<a href="seite.htm" rel="nofollow">Seite</a>

Das rel="nofollow" sagt den Suchmaschinen, dass Sie diesem Link nicht folgen sollen. Allerdings gibt es auch Suchmaschinen, die diesem Hinweis nicht nachgehen und die Seite trotzdem besuchen. Denn Aufrufen kann man deine Seiten ja trotzdem alle noch.
11.07.2012 um 23:11

Du kannst auch Anweisungen in die robots.txt schreiben. Die robots.txt sollte unter domain.com/robots.txt aufrufbar sein und ist eine normale Textdatei, in die du einfach Direktiven für die Crawler schreibst.

Um die Webcrawler aus allen Bereichen und Dateien deiner Website auszuschließen, schreibe in die robots.txt einfach folgendes:

User-agent: *
Disallow: /

Wenn Crawler nun deine Seite indexieren wollen, schauen Sie als erstes in die robots.txt und finden darin die Anweisung, dass sie nichts deiner Seite aufnehmen sollen. Dann verschwinden sie wieder.

Wenn du allerdings nur einige Einzelseiten oder bestimmte Verzeichnisse ausschließen willst, kannst du das auch in der robots.txt festlegen. Das ist ein bisschen viel für diesen Kommentar, daher habe ich dazu noch ein kleines Tutorial geschrieben.
13.07.2012 um 13:54

Leider gibt es auch einige Suchmaschinen, die sich nicht an die Anweisungen in robots.txt halten und auch Meta Tags gerne ignorieren.

In diesem Fall hilft nur eine entsprechend präparierte .htaccess Datei im entsprechenden Verzeichnis. Diese kann so aussehen:

order allow,deny
deny from 123.456.789.000
deny from 100.100.100.100
deny from 200.123
allow from all

Dies in der .htaccess Datei sperrt alle Anfragen von den beiden IPs 123.456.789.000 und 100.100.100.100 aus. Die vierte zeile sorgt dafür, dass auch alle Anfragen von IPs, die mit 200.123 beginnen, wie zum Beispiel 200.123.1.1.1 oder 200.123.10.27.23 ausgesperrt werden.

Nur so kannst du sichergehen, dass die entsprechenden Spider auch nicht wirklich nicht auf deine Seite zugreifen können! Einziges Problem: Du brauchst eine Liste aller "bösen" Spider oder zumindest der wichtigsten Crawler. Und die kann sich ständig ändern. Ich würde da also mal am besten aktuell im Internet suchen.
14.07.2012 um 18:50

Ich würde darüber nachdenken, deine Seite einfach generell mit einem Passwort zu schützen und nicht öffentlich ins Internet zu stellen.

Wie es mir scheint, soll deine Seite ja nicht durch Suchmaschinen gefunden werden und daher vermutlich nur einem kleinen Kreis von Leuten zur Verfügung stehen. Und denen kann man ja auch das Passwort für die Seite nennen und hat dann gar nicht das Problem, dass womöglich geheime Informationen, die auf der Seite veröffentlicht sind, in die Öffentlichkeit gelangen.
14.07.2012 um 20:16