Screaming Frog: гайд по техническому аудиту

Что умеет Screaming Frog и зачем он нужен

Screaming Frog называют «ручным сканером», и это лучшая аналогия. Программа обходит сайт по ссылкам, как поисковый робот, и собирает по каждой странице десятки параметров: статусы HTTP, мета-теги, заголовки, дубли, скорость ответа, наличие битых ссылок. Без такого краулера технический аудит превращается в гадание, а с ним вы за 15–30 минут получаете полную карту проблем. Инструмент давно стал стандартом для SEO-продвижении, его используют и в соло-проектах, и в агентствах, когда нужно быстро проверить сайт перед стартом работ или после масштабных изменений.

На практике краулер закрывает три типовые задачи. Первая: поиск битых ссылок и ошибок 404, из-за которых теряется краулинговый бюджет и доверие поисковиков. Вторая: выявление дублей страниц и проблем с мета-тегами, когда title или description отсутствуют, слишком длинные или повторяются на разных URL. Третья: проверка технических элементов, вроде редиректов, картинок без alt, некорректных canonical. Всё это выгружается в Excel или Google Sheets, где можно фильтровать данные, сортировать по приоритету и передавать разработчикам. Работает это не всегда идеально, у краулера есть ограничения по JS-контенту, но для большинства задач он незаменим.

Как подготовить сайт к сканированию и настроить Screaming Frog

Перед запуском сканирования стоит потратить 10–15 минут на подготовку, иначе первый прогон утонет в мусорных ответах. Запускаете режим Spider, вставляете домен или подгружаете список URL через «Upload URLs» (удобно для больших каталогов). В настройках Limits обязательно поставьте ограничение по количеству URL (например, 100–200 тысяч, если сайт крупный) и глубине обхода, чтобы краулер не уходил в бесконечные фильтры и пагинацию. В разделе Exclude добавьте маски для служебных параметров вроде ?sort= или ?utm_, а также отключите скачивание CSS и JS, если вам нужен только HTML-анализ. Это заметно ускорит работу и снизит нагрузку на сервер, что критично для интернет-магазинов с десятками тысяч страниц.

Если сайт закрыт авторизацией, не спешите мучиться: в поле «Authentication» задаёте Basic Auth или используете куки из браузера, и краулер получит доступ к закрытым разделам. Для JavaScript-рендеринга включаете режим JavaScript (он стоит в настройках Spider), но помните, что это замедляет обход в разы, поэтому применяйте его точечно, например, только для страниц с динамическим контентом. На практике мы обычно сначала прогоняем сайт без JS, смотрим базовую структуру и технические ошибки, а уже потом запускаем выборочную проверку рендеринга, чтобы понять, видит ли поисковик контент. Кстати, о том, как правильно готовить JS-сайты к индексации, мы подробно писали в статье JavaScript SEO.

Перед стартом соберите чек-лист, чтобы ничего не упустить. Вот что мы проверяем в каждом проекте перед первым прогоном:

• robots.txt не блокирует важные разделы, иначе аудит будет неполным.
• В Exclude добавлены маски для ?page=, ?sort= и других служебных параметров.
• Ограничение по глубине обхода выставлено, чтобы краулер не ушёл в пагинацию.
• User-Agent заменён на «Googlebot», чтобы увидеть сайт глазами поисковика.
• Количество потоков снижено до 5–10, если хостинг слабый.
• Для сайтов свыше 50 000 URL подготовлен список страниц для режима List Crawl.

Отдельно стоит проверить robots.txt перед стартом. Если там закрыты важные разделы, краулер их не увидит, и аудит получится неполным. Для крупных сайтов свыше 50 000 URL лучше использовать режим «List Crawl» с предварительно собранным списком страниц из базы данных, это экономнее по времени. В настройках Speed снизьте количество потоков до 5–10, чтобы не положить слабый хостинг во время обхода. Исключения для битых ссылок на изображения и PDF тоже стоит добавить заранее, они не влияют на SEO, но засоряют отчёт. Пользовательский агент при этом меняем на «Googlebot» в разделе User-Agent, чтобы увидеть сайт глазами поисковика, а не обычного браузера.

Основные метрики: что означают цифры в отчете

В отчёте после сканирования первым делом смотрите на распределение статусов ответов. HTTP 200 означает, что страница доступна и проиндексирована, 301 это редирект, который нужно держать в узде, а 404 это битые URL, которые стоит либо отдать под редирект, либо оставить только если на них ведут внешние ссылки. Количество просканированных URL покажет масштаб проблемы: если краулер нашёл 50 тысяч страниц, а в индексе Яндекса их 10 тысяч, значит, часть закрыта от индексации или это дубли. Время ответа и размер страницы напрямую влияют на скорость загрузки: для коммерческого сайта нормой считается ответ сервера до 300 мс, а вес страницы до 2 МБ, всё остальное это повод копать глубже. Число внутренних и внешних ссылок на странице тоже даёт пищу для размышлений. Если на странице 500 внутренних ссылок, поисковик может не передать вес на все, а если внешних больше, чем внутренних, стоит проверить, не превратился ли сайт в каталог чужих ресурсов. Дубли контента и мета-тегов Screaming Frog подсвечивает отдельно: одинаковые title или description это частая причина низких позиций, и здесь же анализируются метатеги robots и X-Robots-Tag. Если видите, что страница помечена как noindex, а она должна индексироваться, значит, проблема в настройках, и стоит изучить нашу статью про управление индексированием. Эти цифры в отчёте не просто статистика, это карта, по которой вы находите и приоритизируете технические правки.

Как анализировать данные и находить критические ошибки

Первый шаг после сканирования, это не просмотр всех URL подряд, а работа с фильтрами. Откройте вкладку «Response Codes» и сгруппируйте ответы по статусам: 4xx, 5xx и 3xx. Для каждого типа ошибок включайте фильтр по соответствующему коду. Практический совет: начинайте с 404 и 410, это самый частый мусор, который убивает бюджет краулинга. Дальше сортируйте список по столбцу «Inlinks», чтобы понять, какие битые страницы получают больше всего ссылок с внутренних страниц. Именно их нужно чинить в первую очередь, а не те, что висят в индексе без единого входящего.

На практике мы часто видим, что «неработающие изображения» и «дубли» это две соседние проблемы, которые решаются одинаково. В Screaming Frog есть готовые вкладки «Page Titles» и «Meta Description»: фильтруйте по «Missing» и «Duplicate». Заодно проверяйте колонку «Canonical», если она указывает на другой URL, а страница при этом индексируемая, это прямой сигнал к склейке. В кейсе одного интернет-магазина мы таким способом за один проход нашли 1200 дублей карточек с пустыми title и битыми картинками, после чистки которых трафик на раздел вырос на 18% за месяц. Главное не пытайтесь править всё сразу, сначала выгрузите отфильтрованные URL в CSV, а потом раздайте задачи разработчикам. Иначе потратите день на ручную проверку того, что скрипт уже посчитал.

Расширенные возможности: интеграции и автоматизация

Когда рутинные проверки забирают больше времени, чем их результаты, пора подключать интеграции. Помимо стандартного экспорта в CSV, у Screaming Frog есть прямая выгрузка в Google Sheets через надстройку: данные подтягиваются в таблицу в пару кликов, и можно настроить автообновление по расписанию. Для тех, кто работает с большим объёмом клиентов, это серьёзная экономия, особенно когда нужно собрать отчёт по десятку доменов. Также из коробки доступна связка с Google Analytics и Search Console: метрики поведения и поисковые запросы подтягиваются прямо в интерфейс паука, что позволяет сразу видеть, какие страницы с ошибками теряют трафик, а какие просто лежат без посещений.

Более тонкая автоматизация строится через API: скрипты на Python или Node.js позволяют запускать сканирование, дёргать данные и отправлять их в корпоративные дашборды или Telegram-бота. Мы обычно заворачиваем регулярные обходы в cron, чтобы раз в неделю паук сам проходил сайт и сбрасывал отчёт в общую папку. Шаблоны отчётов в платной версии сохраняют нужные колонки и фильтры, так что не приходится каждый раз настраивать вывод заново. Всё это превращает технический аудит из разовой акции в постоянный мониторинг, который не требует ручного участия, но при этом даёт свежие данные о состоянии сайта без лишних телодвижений.

Пошаговый чек-лист технического аудита с Screaming Frog

Сканирование запускаем только после того, как убедились, что в robots.txt не закрыты важные разделы, а в настройках паука задана корректная точка входа (чаще всего главная страница). Дальше прогоняем краулер, и уже по факту выгрузки начинаем разбирать статусы ответов: 404, 301, 500 и прочие. На этом этапе удобно сразу смотреть, не появились ли новые технические дубли, особенно если сайт на фильтрах или у него есть зеркала.

После первичного анализа серверных ответов переходим к проверке мета-тегов: title, description, H1. Screaming Frog подсвечивает отсутствие, дубли и превышение длины, но финальное решение всегда за человеком, иногда длинный title оправдан. Затем смотрим ссылочную структуру: битые внутренние ссылки, цепочки редиректов, orphan-страницы, которые не имеют входящих ссылок. Все находки фиксируем в отчёте, приоритизируя по влиянию на индексацию и трафик, а не по удобству исправления.

• Проверьте, что в настройках сканирования включён режим «Crawl JavaScript» для сайтов с тяжёлым рендерингом.
• В отчёте по статусам отдельно выгружайте 3xx, 4xx и 5xx ответы, не смешивая их в одну таблицу.
• Для поиска дублей title и description используйте фильтр «Duplicate» во вкладке «Page Titles» и «Meta Description».
• Проверяйте XML-карту: сравните URL из sitemap с фактически просканированными, чтобы найти расхождения.
• В финальном отчёте обязательно указывайте, какой URL является источником редиректа и куда он ведёт.

Сравнение Screaming Frog с другими инструментами аудита

На практике выбор инструмента чаще упирается не в функциональность, а в бюджет и сценарий использования. Screaming Frog за 259 фунтов в год закрывает 95% задач технического аудита: он быстрее всех обрабатывает сайты до 50 тысяч URL и дает гибкие фильтры, которые не встретишь у Netpeak Spider или SiteAnalyzer. Бесплатный режим с лимитом 500 URL подходит для быстрой проверки лендинга, но для полноценного аудита среднего интернет-магазина его не хватит. Ahrefs и Semrush Site Audit хороши как часть комплексной SEO-платформы, но их краулеры поверхностнее, а стоимость подписки начинается от $99 в месяц, что оправдано только если вы и так платите за эти сервисы для сбора семантики или анализа ссылок.

Сравнение по ключевым параметрам выглядит так: по цене выигрывает SiteAnalyzer с разовой лицензией, по скорости сканирования лидирует Screaming Frog, по удобству визуализации данных Semrush, а Netpeak Spider удобен для новичков из-за русскоязычного интерфейса и встроенных подсказок. Когда нужна глубокая техническая проработка: проверка JS-рендеринга, канонических дублей, битых ссылок в связке с Google Sheets, берите Screaming Frog. Когда важна автоматическая выдача рекомендаций и приоритизация ошибок, лучше подойдут Ahrefs или Semrush. Мы в Cinar обычно используем связку Screaming Frog для сбора данных и Semrush для кросс-проверки критичных проблем, а финальный аудит и план исправлений готовим вручную, потому что ни один инструмент не понимает контекст бизнеса так, как живой специалист.

Часто задаваемые вопросы