Таки краулинговый бюджет – это не бездонная бочка

Нонсенс! Но представители Google в своих высказываниях частенько противоречат сами себе, сначала отрицая какое-то утверждение или факт, а затем признавая его правоту. Вот так случилось и с краулинговым бюджетом…

А как было раньше?

Ранние версии высказываний специалистов поисковой системы относительно краулингового бюджета верны… Но не для всех групп сайтов. Причем представители Google честно признали свою неправоту в одном из новых фрагментов подкаста Search Off the Record. Справка: Краулинговый бюджет (он же бюджет сканирования) – лимит на количество URL сайта, которые может просканировать и проиндексировать поисковый робот Google.

А как стало сейчас?

Ведущие Search Off the Record (среди которых и всем известный оракул компании Джон Мюллер) отметили, что большей части сайтов не стоит заморачиваться о доступном краулинговом бюджете. Эта проблема может коснуться только площадки с большим количеством страниц…

• А много – это сколько?

Под большим количеством подразумевается от 1 млн. и более веб-страниц.

• Когда бюджет сканирования может истощиться? И как узнать об этом?

Подобная проблема возникает, если на сайте будет опубликовано одновременно много страниц. При этом о дефиците краулингового бюджета сигнализирует большое количество непроиндексированных материалов. Чтобы определить число непросканированных GoogleBot страниц, изучите журналы сервера, на котором размещен сайт.

• Как решить проблему исхудавшего лимита сканирования?

Представители Google предлагают два пути обхода (пополнения) истощенного краулингового бюджета. Прежде всего, это удаления ненужных (второстепенных) страниц, которыми можно пожертвовать. Уменьшение количества публикаций, которые должен просканировать поисковый робот, позволит ему осуществить проход более важных страниц сайта. Второй вариант – не посылать GoogleBot так называемых «сигналов возврата», которые заставляют краулера немедленно прекратить сканирование содержимого площадки. Для поискового робота такими сигналами служат, прежде всего, 429 и 50X редиректы.

Авось пригодится!

Приведенная выше инфа большей части из нас не касается… Но стоит иметь в виду, что даже такой неисчерпаемое море, как краулинговый бюджет, может закончиться… Хотя это произойдет еще нескоро. Ведь чтоб написать и опубликовать миллион статей, потребуется не один десяток лет. А там, может, и краулинговое море уже станет океаном!