Что такое краулинговый бюджет?
Краулинговый бюджет (crawl budget) — это количество страниц, которое поисковый робот успевает просканировать на сайте за определённый период.
Проще говоря, это лимит обхода: сколько URL робот проверяет за сутки, неделю или месяц. Понятие критично для крупных проектов — маркетплейсов, каталогов, интернет-магазинов с десятками тысяч страниц, где обход всех адресов занимает дни и недели.
Краулинговый бюджет — это пропускная способность сайта для поисковых роботов: сколько страниц они успевают обойти и как часто возвращаются за обновлениями. Бизнесу это важно потому, что страница, до которой робот не дошёл, не попадёт в индекс и не принесёт ни показа, ни трафика — даже если она идеально оптимизирована. Чем больше бюджета уходит на мусорные, дублирующиеся и медленные URL, тем меньше остаётся на действительно важные страницы.
Как работает краулинговый бюджет
Бюджет складывается из двух величин, между которыми поисковая система ищет баланс:
- Краулинг-рейт (crawl rate limit) — сколько запросов в секунду система готова отправлять на ваш хост;
- Ёмкость хоста (host load) — сколько запросов сервер реально выдерживает без просадки по скорости и без ошибок.
Робот измеряет время ответа и количество ошибок 5xx: чем стабильнее и быстрее отвечает сервер, тем выше поднимается краулинг-рейт, и наоборот — медленный хостинг тормозит обход. Лимиты считаются отдельно для каждой системы: свои правила у YandexBot и у Googlebot, при этом оба они — по сути один и тот же поисковый робот с разной частотой запросов. Бюджет не фиксирован: он растёт, если сайт отдаёт страницы быстро и без ошибок, и падает, если сервер отвечает таймаутами.
Зачем считать бюджет: что теряет бизнес
Если бюджет расходуется впустую, робот физически не успевает добраться до новых товаров, статей и разделов. Свежие страницы подолгу ждут первого обхода, цены и остатки обновляются в поиске с задержкой, часть каталога вообще не попадает в индекс, и трафик уходит к конкурентам с более расторопным обходом.
Особенно чувствительны к этому крупные сайты: у небольшого блога на 100 страниц бюджет почти никогда не становится узким местом, а у каталога на 500 000 URL он превращается в главный ограничитель роста.
Как применять на практике
Работа с бюджетом — это набор технических действий, а не одна настройка:
- Посмотреть реальные цифры обхода: в Яндекс.Вебмастере — раздел «Обход страниц», в Google Search Console — отчёт «Статистика сканирования». Полезно сверить их с логами сервера.
- Закрыть служебные разделы в robots.txt: корзину, внутренний поиск, результаты фильтров, страницы с UTM-метками.
- Убрать из индекса дубли и малополезные страницы через noindex и canonical — так бюджет перенаправляется на приоритетные URL.
- Ускорить отдачу страниц: быстрый сервер, кеширование и оптимизация кода напрямую повышают краулинг-рейт.
- Держать карту сайта в актуальном виде и включать в неё только канонические адреса.
Отдельно стоит расставить приоритеты: если страниц больше, чем робот успевает обойти, сначала закрывайте от обхода то, что не приносит денег, и открывайте то, что приносит.
Типичные ошибки
- Фасетные фильтры без контроля. Каждый параметр сортировки порождает новый URL — и миллионы комбинаций съедают весь бюджет.
- Мягкие 404 и длинные цепочки редиректов. Робот тратит запросы на адреса, которых уже нет.
- Тотальное закрытие в robots.txt. Страница не сканируется — но и не индексируется, а накопленный вес не переносится.
- Работа без логов. Только серверные логи показывают, какие разделы робот обходит чаще, а какие игнорирует.
- Ставка на объём. Тысячи страниц-пустышек выглядят как рост каталога, а на деле размывают бюджет.
Что изменилось к 2026 году
В 2026 году краулинговый бюджет перестал быть темой только классического поиска: ИИ-поисковики и ассистенты ходят по сайтам своими ботами и тоже расходуют ресурс сервера, а обучающие выборки требуют свежего контента. При этом логика не изменилась — быстрый и предсказуемый обход остаётся базовой гигиеной крупного сайта. Если робот не дошёл до страницы, ей не помогут ни тексты, ни ссылки.
