Seiten mit robots.txt ausschließen
Frage von Alaska1966 | 10.07.2015 um 18:59
Hallo Gemeinde ich möchte den Mitgliederbereich bei Google und anderen Suchmaschinen ausschließen was gehört in die robots.txt damit die Seiten nicht verfolgt werden.
Und was gehört alles in die robots.txt?
Bei mir steht nur das drin - ich denke das reicht?!
User-agent: * Disallow:
Danke für die Antwort.
Gruß Peter
Ähnliche Themen
PHP: Alle HTML-Tags aus String entfernen
Tutorial | 0 Kommentare
Datei in ihren Ordnernamen umbenennen
Tutorial | 3 Kommentare
Google Tipps: Bestimmte Seiten von der Suche ausschließen
Info | 7 Kommentare
Bestimmte IP Adressen mit HTACCESS blockieren
Tipp | 0 Kommentare
Lazarus: Datei umbenennen und verschieben
Tipp | 0 Kommentare
Textdateien mit fester Zeilenlänge umschreiben
Tutorial | 0 Kommentare
Wichtiger Hinweis
Bitte beachten Sie: Die Beiträge auf askingbox.de sind Beiträge von Nutzern und sollen keine professionelle Beratung ersetzen. Sie werden nicht von Unabhängigen geprüft und spiegeln nicht zwingend die Meinung von askingbox.de wieder. Mehr erfahren.
Jetzt mitmachen
Stellen Sie Ihre eigene Frage oder schreiben Sie Ihren eigenen Artikel auf askingbox.de. So gehts.
Mit deiner robots.txt schließt du leider niemanden aus: Das Sternchen hinter "User-agent" bedeutet dass die folgenden Regeln für alle Besucher gelten. Hinter "Disallow" werden dann alle Seiten notiert, die "nicht erlaubt" sind. Da dort nichts steht heißt das im Umkehrschluss: Alle Seiten sind für alle erlaubt.
Ich gebe dir mal ein paar Beispiele:
Das hier würde deine gesamte Seite ausschließen:
Das hier würde alle Dateien aus dem Ordner "intern" und dem Ordner "mitglieder" ausschließen sowie die einzelnen HTML-Seiten "seite1.htm" und "seite2.htm":
Aber.. Und jetzt kommen wir zu dem großen Aber: Die Robots-Regeln sind überhaupt nicht dafür geeignet einen Mitglieder- oder internen Bereich vor fremdem Zugriff zu schützen. Die Regeln in der Datei geben lediglich einen Leitfaden für Suchmaschinen vor, an die sich die Suchmaschinen aber nicht halten müssen.
Böse Suchmaschinen und alle anderen Benutzer können trotzdem auf die Seiten zugreifen und kommen damit vielleicht sogar nur noch auf die Idee, welche tollen "versteckten" Ordner es sonst noch so auf deinem Server gibt.
Effektiv geht dein Vorhaben nur mit einem Login-Bereich mit Passwort, so dass wirklich nur die richtigen Mitglieder die das Passwort kennen auf den internen Mitgliederbereich zugreifen können.
11.07.2015 um 02:56
Danke für die Antwort. Reicht es aus wie du es beschrieben hast den Bereich auszuschließen oder muss die ganze Seite angegeben werden. Also nur Disallow: /mitglieder/ ist da richtig?
11.07.2015 um 09:37
Mit "/mitglieder/" würdest du alle Dateien ausschließen die über "deinedomain.de/mitglieder/..." aufrufbar sind. Also zum Beispiel "/mitglieder/foto.jpg" oder "/mitglieder/seite.html".
Wenn du einzelne Dateien ausschließen willst müsstest du zum Beispiel "Disallow: /datei1.htm" schreiben.
Aber wie gesagt.. Man kann die Seiten trotzdem noch aufrufen, die robots.txt gilt nur für Suchmaschinen die sich auch daran halten.
11.07.2015 um 14:30
Wir hatten schon einmal eine ähnliche Diskussion, in der auch einige wichtige Punkte genannt werden.
Schau mal unter "Verhindern dass Suchmaschine meine Seiten in ihren Index aufnimmt" nach. Da gibt es sicherlich noch den einen oder anderen Tipp für dich.
PS: Und noch etwas wichtiges: Es heißt "robots.txt" und nicht "robot.txt". Habe das mal ändern lassen, damit alles seine Richtigkeit hat.
11.07.2015 um 15:49