Что Такое Crawl Budget?
Бюджет сканирования определяется тем, сколько поисковый робот (обычно Googlebot) может и будет «сканировать» сайт и его связанные URL-адреса для обновления его рейтинга. Сложно определить, как именно рассчитывается бюджет сканирования, но в основном он зависит от двух факторов: спроса на сканирование и лимита скорости сканирования.
Подробнее о бюджете сканирования
Чтобы лучше понять бюджет сканирования, полезно узнать больше о потребности в сканировании и ограничении скорости сканирования.
Спрос на сканирование довольно прост. Чем популярнее сайт, тем выше потребность (и спрос) на его сканирование. Googlebot, в частности, захочет убедиться, что он имеет актуальные записи о часто посещаемом сайте.
Для менее популярных URL-адресов, спрос на сканирование сосредоточен на поддержании актуальности. Google не хочет, чтобы застарелый и устаревший контент засорял верхние позиции в SERPs.
Лимит скорости сканирования — это максимальное количество параллельных соединений, которые Googlebot может использовать для сканирования сайта, и время ожидания, необходимое между каждым соединением. Владельцы сайтов могут устанавливать ограничения на это, но емкость сервера также может влиять на это число.
Быстро отвечающий веб-сервер будет иметь более высокий лимит краулинга. В противном случае, Googlebots снизят свою скорость сканирования, чтобы не мешать функциональности более слабого сайта.
