Googlebot Crawler kommt zu oft: Wie kann ich die Häufigkeit begrenzen?
Frage von Chematik | Letztes Update am 09.12.2018 | Erstellt am 05.07.2012
Ich finde es wirklich gut, dass Google meine Seite in den Index genommen hat, da ich meine meisten Besucher durch die Googlesuche bekomme.
Ich finde es auch gut, dass Google versucht seinen Index immer auf dem neuesten Stand zu halten und daher seinen Googlebot Crawler oft durch das Web schickt.
Allerdings sind mir die Besuche des Crawlers ein wenig zu häufig. Ich habe ein Webprojekt mit recht vielen Seiten und inzwischen ist der Google Crawler für 80 Prozent meines Traffics verantwortlich, was mir ein wenig zu viel ist, da sich meine Seiten auch kaum im Laufe der Zeit ändern.
Wie kann ich dem Crawler sagen, dass er nicht so oft kommen braucht?
Ähnliche Themen
Wort-Häufigkeit in einem Text bestimmen
Tutorial | 0 Kommentare
Ist das Liebeskummer oder was anderes?
Offene Frage | 1 Antwort
Textarea Maxlength: Maximale Zeichenanzahl in HTML Textarea begrenzen
Tutorial | 4 Kommentare
Wieso klagt man über Gehälter von Managern aber nicht über die Spitzengehälter von Fußballern?
Offene Frage | 1 Antwort
Wachsen Haare schneller, wenn sie oft geschnitten werden?
Info | 0 Kommentare
McFit: Die neuen Cyberobics Kurse
Review | 4 Kommentare
Spamschutz: Ist es sinnvoll auf Webseiten [at] statt @ zu schreiben?
Offene Frage | 5 Antworten
Wichtiger Hinweis
Bitte beachten Sie: Die Beiträge auf askingbox.de sind Beiträge von Nutzern und sollen keine professionelle Beratung ersetzen. Sie werden nicht von Unabhängigen geprüft und spiegeln nicht zwingend die Meinung von askingbox.de wieder. Mehr erfahren.
Jetzt mitmachen
Stellen Sie Ihre eigene Frage oder schreiben Sie Ihren eigenen Artikel auf askingbox.de. So gehts.
Du kannst zwei Dinge tun, die mir spontan einfallen:
Robots-Datei
Falls du nicht schon eine robots.txt im Hauptverzeichnis deiner Seite hast, lege eine an und schreibe in die Datei ein Wert für "Crawl-delay". Heißt deine Seite example.com, sollte deine Datei über example.com/robots.txt erreichbar sein. Deine robots.txt könnte dann so aussehen:
Der Wert gibt an, wie viel Zeit in Sekunden zwischen zwei Besuchen eines Crawlers liegen sollen. Der Wert 30 bedeutet, dass Google nur alle 30 Sekunden vorbei schauen sollte. Normalerweise schaut Google innerhalb von einer Sekunde teilweise mehrfach vorbei, das ist schon eine Verbesserung. Es wird allerdings gemunkelt, dass sich viele Crawler nicht an diese Vorgaben halten.
Google Webmaster Tools
Ein anderer Weg führt über die Google Webmaster Tools. Hier gibt es in den Einstellungen zu jeder Seite die Möglichkeit, die "Crawl Rate" individuell anzupassen. Ich denke das ist für Google die beste Lösung.
06.07.2012 um 23:31
Ich weiß wirklich nicht ob es hilft, aber vielleicht ist es auch eine Möglichkeit über die "Expires Header" und Caching-Zeiten deiner Website zu gehen.
Wenn man hier einstellt, dass eine Seite erst in einem Jahr nicht mehr gültig ist und bis dahin aus dem Cache geladen werden kann, sollten sich doch vielleicht auch die Suchmaschinen daran halten.
Weiß jemand mehr dazu? Ich wüsste da gerne mehr darüber und ob es funktioniert.
09.07.2012 um 11:58