11 Stimme

Seiten mit robots.txt ausschließen

Frage von Alaska1966 | 10.07.2015 um 18:59

Hallo Gemeinde ich möchte den Mitgliederbereich bei Google und anderen Suchmaschinen ausschließen was gehört in die robots.txt damit die Seiten nicht verfolgt werden.

Und was gehört alles in die robots.txt?

Bei mir steht nur das drin - ich denke das reicht?!

User-agent: *
Disallow: 

Danke für die Antwort.

Gruß Peter

AntwortenPositivNegativDatumStimmen
1Beste Antwort1 Stimme

Mit deiner robots.txt schließt du leider niemanden aus: Das Sternchen hinter "User-agent" bedeutet dass die folgenden Regeln für alle Besucher gelten. Hinter "Disallow" werden dann alle Seiten notiert, die "nicht erlaubt" sind. Da dort nichts steht heißt das im Umkehrschluss: Alle Seiten sind für alle erlaubt.

Ich gebe dir mal ein paar Beispiele:

Das hier würde deine gesamte Seite ausschließen:

User-agent: *
Disallow: /

Das hier würde alle Dateien aus dem Ordner "intern" und dem Ordner "mitglieder" ausschließen sowie die einzelnen HTML-Seiten "seite1.htm" und "seite2.htm":

User-agent: *
Disallow: /intern/
Disallow: /mitglieder/
Disallow: /seite1.htm
Disallow: /seite2.htm

Aber.. Und jetzt kommen wir zu dem großen Aber: Die Robots-Regeln sind überhaupt nicht dafür geeignet einen Mitglieder- oder internen Bereich vor fremdem Zugriff zu schützen. Die Regeln in der Datei geben lediglich einen Leitfaden für Suchmaschinen vor, an die sich die Suchmaschinen aber nicht halten müssen.

Böse Suchmaschinen und alle anderen Benutzer können trotzdem auf die Seiten zugreifen und kommen damit vielleicht sogar nur noch auf die Idee, welche tollen "versteckten" Ordner es sonst noch so auf deinem Server gibt.

Effektiv geht dein Vorhaben nur mit einem Login-Bereich mit Passwort, so dass wirklich nur die richtigen Mitglieder die das Passwort kennen auf den internen Mitgliederbereich zugreifen können.
11.07.2015 um 02:56

AntwortenPositiv Negativ
00 Stimmen

Danke für die Antwort. Reicht es aus wie du es beschrieben hast den Bereich auszuschließen oder muss die ganze Seite angegeben werden. Also nur Disallow: /mitglieder/ ist da richtig?
11.07.2015 um 09:37

Positiv Negativ
00 Stimmen

Mit "/mitglieder/" würdest du alle Dateien ausschließen die über "deinedomain.de/mitglieder/..." aufrufbar sind. Also zum Beispiel "/mitglieder/foto.jpg" oder "/mitglieder/seite.html".

Wenn du einzelne Dateien ausschließen willst müsstest du zum Beispiel "Disallow: /datei1.htm" schreiben.

Aber wie gesagt.. Man kann die Seiten trotzdem noch aufrufen, die robots.txt gilt nur für Suchmaschinen die sich auch daran halten.
11.07.2015 um 14:30

Positiv Negativ
Antworten
00 Stimmen

Wir hatten schon einmal eine ähnliche Diskussion, in der auch einige wichtige Punkte genannt werden.

Schau mal unter "Verhindern dass Suchmaschine meine Seiten in ihren Index aufnimmt" nach. Da gibt es sicherlich noch den einen oder anderen Tipp für dich.

PS: Und noch etwas wichtiges: Es heißt "robots.txt" und nicht "robot.txt". Habe das mal ändern lassen, damit alles seine Richtigkeit hat.
11.07.2015 um 15:49

AntwortenPositiv Negativ
Antworten

Ähnliche Themen

Wichtiger Hinweis

Bitte beachten Sie: Die Beiträge auf askingbox.de sind Beiträge von Nutzern und sollen keine professionelle Beratung ersetzen. Sie werden nicht von Unabhängigen geprüft und spiegeln nicht zwingend die Meinung von askingbox.de wieder. Mehr erfahren.

Jetzt mitmachen

Stellen Sie Ihre eigene Frage oder schreiben Sie Ihren eigenen Artikel auf askingbox.de. So gehts.