Что такое краулинговый бюджет и как он формируется

Краулинговый бюджет — это объем ресурсов, который поисковая система готова потратить на обход вашего ресурса за выбранный отрезок времени. Если совсем по-простому, речь идет о количестве адресов, которые робот успеет проверить за сутки или неделю, прежде чем уйти к другим проектам. Для скромной визитки лимит может составлять около 100–200 URL в день, а у крупного маркетплейса счет идет на десятки и сотни тысяч.

Сам бюджет складывается из двух частей, которые подробно описаны в документации Google. Первая часть — crawl rate limit, техническая планка, до которой сервер способен принимать запросы без потери скорости. Чем надежнее площадка и быстрее отдает страницы, тем активнее краулер заходит за единицу времени. Вторая часть — crawl demand, своего рода интерес поисковика к ресурсу. Этот спрос зависит от популярности материалов, частоты обновления контента и общей значимости сайта в глазах системы.

Что такое краулинговый бюджет, если объяснять прикладным языком: это пропускная способность вашего проекта в восприятии бота. Когда лимит уходит на бесконечные дубли, технические артефакты и неработающие адреса, по-настоящему важные разделы просто не успевают зайти в индекс. Особенно болезненно это бьет по крупным каталогам, новостным площадкам и e-commerce проектам с тысячами карточек.

Яндекс работает по аналогичной схеме, хотя формально не использует тот же термин. В Вебмастере есть раздел с данными по обходу, где наглядно показано, сколько страниц робот посещает за день и какова доля корректных серверных ответов. Принцип везде один — никакой поисковик не станет бесконечно вкладывать ресурсы в площадку, которая не оправдывает затраты на ее сканирование.

Кому и когда нужно оптимизация краулингового бюджета

Оптимизация краулингового бюджета имеет смысл прежде всего для проектов с большим инвентарем страниц — от пары тысяч URL и выше. Если перед вами одностраничник или скромный корпоративный сайт на три десятка страниц, бот без проблем обойдет все за один визит — задумываться о лимитах бессмысленно.

Настоящая потребность в работе с бюджетом появляется в нескольких сценариях:

• Интернет-магазины с обширным каталогом, многоуровневыми фильтрами, сортировками и страницами пагинации.
• Маркетплейсы и агрегаторы, где десятки тысяч офферов поступают от разных продавцов.
• Новостные порталы с регулярным потоком публикаций и архивом, накопленным за годы работы.
• Площадки с пользовательским контентом — форумы, сервисы объявлений, отзовики.
• Многоязычные проекты с большим числом локализаций одного и того же материала.
• Сайты после переезда на свежий домен или другую CMS, когда нужно срочно загнать в индекс новые адреса.

Сигналы, по которым видно, что пора заняться лимитом обхода: свежие материалы неделями не появляются в выдаче, в Search Console растет пул «Просканировано, но не проиндексировано», а робот раз за разом возвращается к мусорным адресам вместо новых разделов. Достаточно одного из перечисленных симптомов — и можно открывать отчеты с логами.

Как проверить краулинговый бюджет своего сайта

Узнать состояние краулингового бюджета сайта можно через три ключевых источника: Google Search Console, Яндекс.Вебмастер и серверные логи. Каждый из инструментов раскрывает свою грань картины, поэтому для полноценного анализа лучше задействовать их в комплексе.

Google Search Console: отчет «Статистика сканирования»

В Search Console перейдите в «Настройки», а оттуда — в «Статистика сканирования». Поисковик показывает три ключевых числа: общее количество запросов за последние 90 дней, средний вес загружаемых страниц и среднее время отклика сервера.

На что стоит смотреть в первую очередь:

• Динамика обращений. Резкие провалы намекают на проблемы — либо площадка стала отвечать медленнее, либо бот потерял к ней интерес.
• Распределение кодов ответа. Доля ответов 200 должна доминировать. Заметный процент 404, 5xx или цепочек редиректов — повод насторожиться.
• Категории файлов. Если краулер расходует основную часть запросов на стили, скрипты и изображения вместо HTML, настройки нуждаются в пересмотре.
• Назначение визита. Раздел показывает, чем именно занят бот — обновляет известные адреса или находит новые.

Яндекс.Вебмастер: данные об обходе сайта

В Вебмастере откройте «Индексирование» → «Статистика обхода». Перед вами появится картина того, сколько адресов робот посетил за выбранный период, какие коды получил и какие именно URL были загружены.

Полезные срезы, которые дает Яндекс:

• список последних обойденных страниц с датами и статусами ответа;
• сравнение количества загруженных и проиндексированных URL — разрыв подсвечивает потери;
• отчет «Страницы в поиске» с фильтрацией по «Исключенным» и причинами исключения;
• мониторинг приоритетных страниц через функцию «Переобход».

Анализ логов сервера: точный метод для крупных сайтов

Серверные логи — самый честный источник правды. Они фиксируют каждое посещение робота: какой URL запрашивался, какой код вернулся, сколько миллисекунд заняла обработка. Для проектов с десятками тысяч страниц логи остаются единственным способом увидеть полную картину обхода.

Что стоит искать в логах:

• какие разделы поисковик навещает чаще всего;
• какие URL вообще выпадают из поля зрения краулера;
• сколько ресурса уходит на дубли, параметризованные адреса и битые ссылки;
• насколько регулярно бот возвращается к стратегически значимым страницам.

Для разбора подойдут Screaming Frog Log Analyzer, JetOctopus и SEMrush Log File Analyzer. На небольших сайтах это перебор, но при объемах от 50 000 URL без серверных логов работа превращается в гадание на кофейной гуще.

Что расходует краулинговый бюджет впустую

Лимит улетает в никуда, когда краулер впустую обращается к страницам, бесполезным и для пользователя, и для ранжирования. Чаще всего проблема локализуется в трех зонах: дубликаты, фасетная навигация и серверные ошибки.

Дубли страниц и мусорные URL

Дубликаты — главный «прожорливый монстр» сканирования. Один и тот же материал доступен сразу по нескольким адресам, и бот вынужден тратить запросы на каждую копию вместо того, чтобы исследовать свежие разделы.

Стандартные источники дублей:

• варианты с www и без www, http и https;
• адреса со слешем на конце и без него;
• идентичный контент в разных языковых версиях без корректного hreflang;
• страницы пагинации с одинаковыми мета-тегами;
• UTM-параметры и реферальные хвосты, плодящие новые URL;
• версии для печати и AMP без правильной разметки.

Каждый такой клон нагружает робота и одновременно размывает сигналы ранжирования между копиями.

Фасетная навигация и URL-параметры

Фильтры в каталогах — отдельная боль для крупных площадок. Сочетания параметров «цвет + размер + бренд + цена» порождают тысячи URL, технически уникальных, но не имеющих самостоятельной ценности для выдачи.

Представьте магазин с 500 товарами и 8 фильтрами: число возможных комбинаций уходит в десятки тысяч страниц. Поисковик добросовестно пытается осмотреть все это, а на действительно важные разделы попросту не остается лимита.

Технические ошибки сервера и длинные цепочки редиректов

Любой ответ из категории 5xx или тайм-аут — это запрос, ушедший в пустоту. Когда сервер регулярно срывается под нагрузкой, поисковик снижает частоту визитов, чтобы не уронить площадку окончательно. Лимит автоматически сокращается.

С цепочками редиректов история похожая. Если URL ведет через четыре или пять последовательных переадресаций, робот расходует на проход цепочки несколько обращений вместо одного. На сайте с массовой переадресацией такая ситуация съедает значительную долю бюджета.

Как управлять краулинговым бюджетом: практические методы

Управление сводится к простой формуле: убрать из обхода лишнее и направить робота туда, куда нужно. На уровне техники это решается тремя группами инструментов.

Управление URL-инвентарем: robots.txt, noindex, canonical

robots.txt закрывает от сканирования целые сегменты сайта. Сюда относят административные папки (admin, cart, search), выдачу внутреннего поиска, страницы с параметрами фильтрации. Важный нюанс: robots.txt блокирует не индексацию, а именно обход. Если на закрытый URL ведут внешние ссылки, он все равно может оказаться в индексе с пометкой «обнаружено, но не просканировано».

Мета-тег noindex убирает страницу из выдачи, оставляя ее доступной для робота. Подходит для технических разделов, нужных пользователю, но не претендующих на место в поиске — корзин, страниц подтверждения заказа, кабинетов.

Canonical указывает на главную версию при наличии дублей. Карточки товара в разных категориях, адреса с UTM-метками, страницы пагинации — везде на основной URL должен ссылаться rel="canonical".

XML-sitemap и внутренняя перелинковка

Карта сайта в XML-формате — прямое указание роботу, какие страницы считаются приоритетными. Хорошая карта содержит только канонические URL с ответом 200, разделена по типам контента (товары, статьи, категории) и поддерживается в актуальном состоянии. Не включайте туда адреса с noindex, переадресациями или ошибкой 404 — это путает поисковик.

Внутренняя перелинковка управляет распределением краулингового бюджета по сайту. Чем больше внутренних ссылок ведет на страницу, тем чаще робот ее посещает. Хлебные крошки, блоки «похожие товары», ссылки внутри статей, рубрики «Популярное» — все это рычаги управления вниманием краулера.

Скорость ответа сервера и стабильность хостинга

Чем быстрее сервер отдает страницу, тем больше адресов робот успевает посетить за один заход. Ориентир по времени отклика — менее 200 мс для HTML-документа. Помогают добиться такого результата:

• производительный хостинг или выделенный сервер;
• кэширование на стороне сервера и подключение CDN для статических файлов;
• оптимизация запросов к базе данных;
• сжатие HTML, CSS и JS через Gzip или Brotli;
• переход на HTTP/2 или HTTP/3.

Не менее принципиальна стабильность площадки. Сайт, падающий раз в неделю, теряет кредит доверия у поисковика, и краулинговый бюджет урезается автоматически.

Mobile-first и IndexNow: новые факторы краулинга

Mobile-first indexing — подход Google, при котором за основу для индексации берется мобильная версия. С 2023 года на эту модель переведены практически все сайты. На практике это значит, что робот видит именно мобильный рендеринг площадки, и если на смартфоне часть контента скрыта или подгружается медленно, индексация ощутимо проседает.

Что необходимо учитывать:

• мобильная и десктопная версии обязаны содержать идентичный контент;
• структурированные данные должны присутствовать в обеих версиях;
• скорость загрузки на мобильных напрямую влияет на размер лимита.

IndexNow — относительно новый протокол, который поддерживают Bing и Яндекс. Он дает возможность сайту самостоятельно сообщать поисковикам об изменениях через API, не дожидаясь следующего обхода. Для новостных проектов и онлайн-магазинов с регулярными обновлениями это серьезная экономия ресурсов — робот приходит сразу к свежим адресам, а не сканирует все подряд в поисках обновлений. Google пока IndexNow не использует, однако в Search Console доступен ручной запрос на переобход критичных страниц.

Краулинговый бюджет — не метрика для галочки

Лимит обхода — это не отвлеченная цифра из SEO-отчетов, а вполне ощутимый ресурс, определяющий, доберутся ли ваши страницы до индекса. На маленьких сайтах эту тему можно действительно отложить. Но стоит проекту вырасти за пределы нескольких тысяч URL, и грамотное распределение бюджета превращается в один из решающих факторов органического трафика.

Логика тут прозрачная: робот заходит ограниченное число раз. Если он тратит визиты на дубли, параметры и сломанные адреса, нужные страницы остаются за бортом. И наоборот — когда обход направлен на ценные разделы, новые публикации быстро попадают в выдачу, а позиции держатся увереннее.

Заглядывайте в отчеты Search Console и Вебмастера хотя бы раз в месяц, поддерживайте чистый список URL, следите за скоростью отклика сервера. Этих трех привычек хватает, чтобы экономить ресурс лучше любых хитрых схем.

Часто задаваемые вопросы

Константин Крючков

Senior SEO-специалист

Подписаться на ТГ