Как проверить индексацию страниц: все способы

Как проверить индексацию страницы в поисковиках за 5 минут

Самый быстрый способ проверить индексацию страницы в поисковиках, который работает всегда и без лишних движений, это оператор site: в строке поиска. Вводите в Яндексе или Google адрес вида site:cinar.ru/page и смотрите на выдачу. Если страница есть в базе, она появится в результатах, если нет, поисковик честно сообщит, что ничего не найдено. Правда, у этого метода есть нюанс: оператор показывает только то, что уже попало в индекс, и не даёт информации о том, почему страница выпала или ещё не обработана. Для быстрой проверки этого достаточно, но для точной картины лучше заглянуть в панели вебмастеров. Кстати, если вы плотно занимаетесь развитием сайта в поисковой выдаче, без этих панелей всё равно не обойтись, так что привыкать к ним стоит сразу. Такие задачи обычно решаются в рамках комплексной SEO-оптимизации.

В Яндекс.Вебмастере и Google Search Console проверка конкретного URL занимает меньше минуты. В Вебмастере есть раздел «Анализ URL», где можно посмотреть статус страницы, дату последнего обхода и причину, по которой она не попала в индекс. В Search Console аналогичная функция называется «Проверка URL», она показывает, проиндексирована ли страница, и запускает повторную переобход. Это уже не предположение по выдаче, а точные данные от самих поисковиков. Если оператор site: показывает страницу, а панель говорит об ошибке, доверять стоит панели, там информация актуальнее.

Пошаговая проверка индексации через Яндекс.Вебмастер

В Яндексе проверка индексации начинается с раздела «Индексирование» в Вебмастере. Там видно общее количество страниц в поиске, а также статусы: «проиндексировано», «исключено» и «не найдено». Последний пункт часто сигналит о проблемах с краулингом или техническими ошибками, так что с него и стоит начинать разбор. Для быстрого анализа удобно смотреть вкладку «Страницы в поиске», где доступна фильтрация по дате последнего обхода.

Проверка отдельного URL делается через строку в верхней части раздела или панель «Анализ URL» внизу страницы. Инструмент возвращает коды ответа: 200 означает, что страница доступна и в индексе, 404 сообщает об удалении, а 5xx указывает на серверные сбои. Если видите «исключено» с кодом 200, проверяйте мета-теги noindex или директивы в robots.txt. Полный разбор статусов и кодов лучше держать под рукой, а сам процесс ускорения мы описали в гайде как ускорить индексацию сайта.

Статус «проиндексировано» показывает URL, которые участвуют в поиске, включая региональные и мобильные версии. Если страница попала в «исключено» с меткой «404 не найдено», потребуется настроить редиректы на релевантные адреса, иначе краулинговый бюджет будет тратиться впустую. Метка «noindex» в этом же разделе обычно появляется после массовой простановки мета-тегов на служебные разделы, тут достаточно пересмотреть правила фильтрации.

• «Не найдено» в отчёте обхода означает, что робот не смог скачать страницу, например, из-за таймаута.
• Код 403 в ответе сервера говорит о блокировке доступа, которую иногда случайно ставят через htaccess или модули защиты.
• Сравнивайте данные Вебмастера с логами сервера: так вы увидите, какие URL робот реально запрашивает, а какие игнорирует.

Как проверить индексацию сайта в Google Search Console

В Google Search Console логика проверки индексации выстроена иначе, чем в Яндекс.Вебмастере, но разобраться несложно. В левом меню находим раздел «Индексирование» и открываем отчёт «Индексирование страниц» (раньше он назывался «Покрытие»). Здесь показываются все URL, которые Google обнаружил на сайте, с разбивкой по статусам: «Проиндексировано», «Не проиндексировано», «Не найдено (404)» и другим. Главное, на что смотрим в первую очередь, это расхождения между фактическим количеством страниц на сайте и числом в отчёте. Если разрыв большой, стоит копнуть глубже: проверить, не закрыты ли разделы в robots.txt, нет ли ошибок в файле, не дублируются ли страницы.

Ключевое отличие статусов «Не проиндексировано» и «Не найдено» в том, что первое означает: робот Google страницу нашёл, но сознательно не включил в поиск (например, из-за канонического тега, низкого качества контента или требования авторизации). Второе говорит о том, что URL физически не существует, сервер отдаёт код 404. Для каждой страницы из статуса «Не проиндексировано» можно кликнуть и посмотреть причину. Ускорить попадание важных страниц в индекс помогает протокол IndexNow, о его работе в Яндексе мы писали отдельно: IndexNow в Яндексе. Быстрая проверка конкретного URL делается через инструмент «Проверка URL» в верхней панели: вставляете адрес, и сервис показывает, в индексе ли страница, а если нет, то по какой причине.

Популярные сервисы для массовой проверки индексации

Для массовой проверки индексации мы чаще всего используем Пиксель Тулс. Сервис удобен тем, что позволяет загрузить до 10 000 URL за раз, сохраняет историю проверок и показывает динамику по каждой странице. Есть API, что критично, когда нужно встроить проверку в собственные отчёты или скрипты. Стоимость зависит от объёма, но для регулярного мониторинга это оправданные расходы, особенно если сайт крупный и индексация новых страниц идёт волнами. Кстати, если страницы выпадают из поиска, причина часто кроется не в технических ошибках, а в запрещающих директивах, о которых мы писали в материале про метатег robots и X-Robots-Tag.

Rush Analytics хорош для SEO-специалистов, которым нужна не просто проверка, а связка с кластеризацией и сбором семантики. Он показывает статус индексации по каждой странице, поддерживает выгрузку в Excel и позволяет настраивать периодические отчёты. PR-CY и аналогичные бесплатные сервисы подойдут для разовой проверки небольшого количества адресов, но у них есть ограничения по числу запросов в день и нет истории. Погрешности возможны везде: сервисы могут показывать «в индексе» страницу, которая уже удалена, или не видеть свежие версии. Поэтому финальное решение всегда принимаем по данным Яндекс.Вебмастера и Search Console, а массовые сервисы используем как быстрый срез ситуации.

Автоматизация проверки индексации с помощью скриптов

Когда сайтов в ведении больше десяти, ручная проверка индексации превращается в рутину, которая съедает полдня. Тут на помощь приходят скрипты. Самый простой вариант — парсинг выдачи поисковика по оператору site:example.ru с помощью Python и библиотеки requests. Скрипт отправляет запрос, вытаскивает из HTML ссылки на проиндексированные страницы и сравнивает их со списком URL из вашего sitemap. Минус такого подхода очевиден: поисковики активно борются с автоматическими запросами, капча и блокировка по IP появляются быстро, поэтому парсить в промышленных масштабах так не получится, но для разовой сверки нескольких сотен страниц это работает.

Гораздо надёжнее использовать официальные API панелей вебмастеров. В Яндекс.Вебмастере есть метод для получения списка проиндексированных страниц, в Google Search Console аналогичный функционал доступен через API. Пишется простой скрипт на том же Python, который раз в неделю выгружает данные по всем сайтам и отправляет отчёт в Telegram или таблицу. Это требует навыков программирования и понимания работы с токенами авторизации, поэтому подходит не всем. Если таких компетенций в команде нет, проще остановиться на сервисах массовой проверки, но когда нужно отслеживать динамику по сотням тысяч URL, автоматизация окупается быстро.

Как проверить индексацию страниц вручную: чек-лист для быстрой диагностики

Ручная проверка индексации не отменяет автоматизированные инструменты, но она быстрее выявляет системные проблемы. Начните с команды site:домен.ru в Яндексе и Google, но не по всему сайту, а по разделам. Так вы увидите, какие категории выпадают из индекса целиком, а где потеряны только отдельные страницы. Параллельно откройте Яндекс.Вебмастер и Search Console: сравните число страниц в индексе с фактическим количеством URL в карте сайта. Расхождение на 10–15% это нормально, но если в поиске втрое меньше страниц, чем в вебмастере, копайте глубже.

Дальше прогоните сайт через Screaming Frog или просто проверьте выборочно страницы, которые должны быть в индексе, по точному URL через поисковую строку. Если страница индексируется, но долго не появляется в выдаче, проверьте скорость обхода: свежие статьи должны попадать в индекс за 1–3 дня, иначе проблема в краулинговом бюджете или слабых внутренних ссылках. Отдельно найдите страницы с кодом 404: если на них ведут внутренние ссылки, поисковик тратит бюджет впустую, а пользователи упираются в тупик. При обнаружении проблем сначала исправьте ошибки в файле robots.txt и уберите дубли, затем ускорьте переобход через инструмент «Переобход страниц» в вебмастере.

Частые ошибки при проверке индексации и как их избежать

Чаще всего результаты проверки искажают мелочи, которые на первый взгляд кажутся очевидными. Самая распространённая история: смотрим выдачу по оператору site:, забываем про редирект с www на без www или с HTTP на HTTPS, и получаем «пустоту» там, где страницы прекрасно индексируются. Второй частый случай, когда сайт полностью закрыт в robots.txt, а мы пытаемся проверить индексацию и делаем неверные выводы о проблемах ранжирования, хотя поисковик физически не мог добраться до контента. Регистр букв в URL тоже имеет значение: /Page и /page для Яндекса и Google это разные адреса, и проверка только одного варианта даст неполную картину.

Чтобы не гадать и не тратить время на ложные сигналы, сверяйтесь с базовыми настройками сайта ещё до начала проверки. Мы обычно фиксируем главное зеркало в Вебмастере, смотрим на статусы редиректов через Screaming Frog и только потом запускаем массовую проверку, иначе данные будут недостоверными.

• Проверяйте оба варианта адреса: с www и без, а также HTTP и HTTPS, чтобы не пропустить дубли.
• Убедитесь, что robots.txt не закрывает разделы, которые вы проверяете, иначе получите ложные нули.
• Используйте оператор site: с учётом регистра букв, иначе часть страниц просто выпадет из выдачи.
• Перед проверкой перейдите по ссылке вручную и посмотрите, есть ли 301 редирект на другой URL.
• Сверяйте итоги с данными из Яндекс.Вебмастера и Search Console, а не только с выдачей.
• Помните про зеркала: если главным выбрано зеркало без www, проверка с www покажет ноль.

Сравнение способов проверки индексации: таблица и выводы

Все способы проверки индексации, которые мы разобрали выше, решают одну задачу, но с разной скоростью, точностью и затратами. Свести их в единую картину удобно таблицей: по ней сразу видно, какой инструмент оправдан для разовой проверки, а какой для регулярного мониторинга.

Для разовой проверки пары страниц проще всего использовать оператор site: или поиск по URL в панелях вебмастеров. Если сайт большой и нужен регулярный контроль, без сервисов или скриптов не обойтись: руками отслеживать динамику индексации на тысячах URL нереально. В нашей практике для еженедельного мониторинга мы обычно настраиваем выгрузку из Search Console и Яндекса в Google Sheets, а для разовых аудитов запускаем массовую проверку через API. Если в штате нет разработчика, который напишет скрипт, проще отдать эту задачу подрядчику вроде Cinar, у которого такие решения уже отработаны и не требуют разовых вложений в разработку.

Часто задаваемые вопросы

Максим Ахтямов

Заместитель руководителя отдела разработки

Подписаться на ТГ