Qu’est-ce que le Crawl Budget ?
Le budget d’exploration est la quantité qu’un robot de moteur de recherche (typiquement Googlebot) peut et va « explorer » un site et ses URL associées pour mettre à jour son classement. La manière dont un budget d’exploration est décidé peut être compliquée. Néanmoins, il est principalement déterminé par deux facteurs : la demande d’exploration et la limite de taux d’exploration.
Plus Sur Le Budget De Crawl
Pour mieux comprendre le budget de crawl, il est utile d’en savoir plus sur la demande de crawl et la limite de taux de crawl.
La demande de crawl est assez simple. Plus un site est populaire, plus le besoin (et la demande) de le crawler est élevé. Googlebot, en particulier, voudra s’assurer qu’il dispose de données à jour sur un site fréquemment visité.
Pour les URL moins populaires, la demande d’indexation se concentre sur le maintien de la fraîcheur. Google ne veut pas que des contenus périmés et obsolètes encombrent les premiers rangs dans les SERPs.
La limite de fréquence de crawl est le nombre maximum de connexions parallèles qu’un Googlebot peut utiliser pour explorer un site et le temps d’attente requis entre chaque connexion. Les propriétaires de sites peuvent définir des limites à ce sujet, mais la capacité du serveur peut également impacter ce nombre.
Un serveur web à réponse rapide disposera d’une limite de crawl plus élevée. Alternativement, les Googlebots réduiront leur taux de crawl pour éviter d’interférer avec la fonctionnalité d’un site plus faible.
