Was Ist Crawl-Budget?
Crawl-Budget ist, wie viel ein Suchmaschinen-Bot (typischerweise Googlebot) eine Website und deren zugehörige URLs durchsuchen kann und wird, um sein Ranking zu aktualisieren. Wie ein Crawl-Budget festgelegt wird, kann kompliziert sein. Es wird jedoch hauptsächlich durch zwei Faktoren bestimmt: Crawl-Bedarf und Crawl-Ratenlimit.
Mehr Über Crawl-Budget
Um das Crawl-Budget besser zu verstehen, ist es hilfreich, mehr über die Crawl-Nachfrage und das Crawl-Ratenlimit zu wissen.
Der Crawl-Bedarf ist ziemlich klar. Je beliebter eine Website ist, desto höher ist der Bedarf (und die Nachfrage) nach ihrem Crawling. Googlebot möchte insbesondere sicherstellen, dass er aktuelle Aufzeichnungen über eine häufig besuchte Website hat.
Für weniger populäre URLs konzentriert sich die Crawler-Nachfrage auf die Aktualität. Google möchte nicht, dass veraltete Inhalte die oberen Ränge in den SERPs blockieren.
Das Crawl-Ratenlimit ist die maximale Anzahl von parallelen Verbindungen, die ein Googlebot verwenden kann, um eine Website zu durchsuchen, und die Wartezeit, die zwischen jeder Verbindung erforderlich ist. Website-Besitzer können Grenzen dafür festlegen, aber auch die Serverkapazität kann diese Zahl beeinflussen.
Ein schnell reagierender Webserver wird ein höheres Crawl-Limit haben. Alternativ werden Googlebots ihre Crawling-Rate reduzieren, um die Funktionalität einer schwächeren Website nicht zu beeinträchtigen.
