Wat is Crawl Budget?
Crawl budget is hoeveel een zoekmachine-bot (doorgaans Googlebot) kan en zal ‘crawlen’ van een site en de bijbehorende URL’s om zijn ranking bij te werken. Hoe een crawl budget wordt bepaald kan ingewikkeld zijn. Het wordt echter voornamelijk bepaald door twee factoren: crawl vraag en crawl snelheidslimiet.
Meer Over Crawlbudget
Om het crawl budget beter te begrijpen, is het nuttig om meer te weten over de vraag naar crawls en de crawl snelheidslimiet.
De vraag naar crawlen is vrij duidelijk. Hoe populairder een site is, hoe groter de behoefte (en vraag) om te worden gecrawld. Googlebot wil in het bijzonder ervoor zorgen dat het actuele gegevens heeft van een vaak bezochte site.
Voor minder populaire URL’s richt de vraag naar crawlen zich op het behouden van actualiteit. Google wil geen verouderde en achterhaalde inhoud die de top van de SERPs verstopt.
Het crawl-snelheidslimiet is het maximale aantal parallelle verbindingen dat een Googlebot kan gebruiken om een site te crawlen en de wachttijd die nodig is tussen elke verbinding. Site-eigenaren kunnen limieten instellen hiervoor, maar de capaciteit van de server kan ook invloed hebben op dit aantal.
Een snel reagerende webserver zal een hogere crawl-limiet hebben. Als alternatief zullen Googlebots hun crawlsnelheid verlagen om te voorkomen dat ze de functionaliteit van een zwakkere site verstoren.
