11 Stimme

Googlebot Crawler kommt zu oft: Wie kann ich die Häufigkeit begrenzen?

Frage von Chematik | Letztes Update am 09.12.2018 | Erstellt am 05.07.2012

Ich finde es wirklich gut, dass Google meine Seite in den Index genommen hat, da ich meine meisten Besucher durch die Googlesuche bekomme.

Ich finde es auch gut, dass Google versucht seinen Index immer auf dem neuesten Stand zu halten und daher seinen Googlebot Crawler oft durch das Web schickt.

Allerdings sind mir die Besuche des Crawlers ein wenig zu häufig. Ich habe ein Webprojekt mit recht vielen Seiten und inzwischen ist der Google Crawler für 80 Prozent meines Traffics verantwortlich, was mir ein wenig zu viel ist, da sich meine Seiten auch kaum im Laufe der Zeit ändern.

Wie kann ich dem Crawler sagen, dass er nicht so oft kommen braucht?

AntwortenPositivNegativDatumStimmen
2Beste Antwort2 Stimmen

Du kannst zwei Dinge tun, die mir spontan einfallen:

Robots-Datei

Falls du nicht schon eine robots.txt im Hauptverzeichnis deiner Seite hast, lege eine an und schreibe in die Datei ein Wert für "Crawl-delay". Heißt deine Seite example.com, sollte deine Datei über example.com/robots.txt erreichbar sein. Deine robots.txt könnte dann so aussehen:

User-agent: *
Crawl-delay: 30

Der Wert gibt an, wie viel Zeit in Sekunden zwischen zwei Besuchen eines Crawlers liegen sollen. Der Wert 30 bedeutet, dass Google nur alle 30 Sekunden vorbei schauen sollte. Normalerweise schaut Google innerhalb von einer Sekunde teilweise mehrfach vorbei, das ist schon eine Verbesserung. Es wird allerdings gemunkelt, dass sich viele Crawler nicht an diese Vorgaben halten.

Google Webmaster Tools

Ein anderer Weg führt über die Google Webmaster Tools. Hier gibt es in den Einstellungen zu jeder Seite die Möglichkeit, die "Crawl Rate" individuell anzupassen. Ich denke das ist für Google die beste Lösung.
06.07.2012 um 23:31

AntwortenPositiv Negativ
00 Stimmen

Ich weiß wirklich nicht ob es hilft, aber vielleicht ist es auch eine Möglichkeit über die "Expires Header" und Caching-Zeiten deiner Website zu gehen.

Wenn man hier einstellt, dass eine Seite erst in einem Jahr nicht mehr gültig ist und bis dahin aus dem Cache geladen werden kann, sollten sich doch vielleicht auch die Suchmaschinen daran halten.

Weiß jemand mehr dazu? Ich wüsste da gerne mehr darüber und ob es funktioniert.
09.07.2012 um 11:58

AntwortenPositiv Negativ
Antworten

Ähnliche Themen

Wichtiger Hinweis

Bitte beachten Sie: Die Beiträge auf askingbox.de sind Beiträge von Nutzern und sollen keine professionelle Beratung ersetzen. Sie werden nicht von Unabhängigen geprüft und spiegeln nicht zwingend die Meinung von askingbox.de wieder. Mehr erfahren.

Jetzt mitmachen

Stellen Sie Ihre eigene Frage oder schreiben Sie Ihren eigenen Artikel auf askingbox.de. So gehts.