Что такое X-Robots-Tag?
X-Robots-Tag — это HTTP-заголовок, который передаёт поисковым роботам директивы индексирования для конкретного файла или ответа сервера: индексировать ли его, показывать ли в поиске, учитывать ли ссылки внутри.
X-Robots-Tag (тег X-Robots) — расшифровка простая: это те же директивы noindex и nofollow, только не в HTML-коде страницы, а в HTTP-заголовке ответа. Бизнесу он нужен там, где HTML-кода нет вообще: PDF-прайсы, изображения, видео, документы, партнёрские выгрузки. Если такой файл надо закрыть от поиска, meta-тег поставить некуда — остаётся заголовок.
Как работает X-Robots-Tag
Заголовок добавляется к HTTP-ответу сервера рядом с кодом состояния и типом контента. Когда поисковый робот запрашивает файл, он читает сначала заголовки и только потом тело документа, поэтому X-Robots-Tag работает даже для файлов, в которых нет HTML-разметки.
Директивы знакомы каждому, кто настраивал метатеги:
- noindex — не добавлять файл в поисковый индекс;
- nofollow — не учитывать ссылки из документа;
- noarchive — не показывать сохранённую копию;
- nosnippet — не формировать сниппет в выдаче;
- none — сокращение, равное паре noindex, nofollow.
Правило можно адресовать конкретному роботу: X-Robots-Tag: googlebot: noindex. Есть и разрешающие значения — index и follow: они включают индексирование там, где на уровне сайта стоит общий запрет.
Зачем он нужен бизнесу
Чаще всего заголовок решает четыре задачи:
- Закрыть PDF с прайсами для дилеров, коммерческими предложениями и внутренними регламентами — конкуренты не найдут их через поиск.
- Убрать из выдачи изображения, которые дублируют товарные фото или обгоняют карточку товара в результатах.
- Скрыть служебные адреса: выгрузки JSON и XML, ответы API, страницы личных кабинетов.
- Ограничить индексирование видео и других медиафайлов, у которых нет HTML-обёртки.
Главное удобство — управление без правки вёрстки: список закрытых файлов живёт в конфиге веб-сервера или в панели CDN, поэтому правило меняется за минуту и сразу для тысяч документов. Разметку в каждый PDF вручную не добавить — заголовок решает задачу централизованно.
Чем отличается от meta robots и robots.txt
Три инструмента решают похожие задачи на разных уровнях. Директива noindex в meta-теге читается только внутри HTML-документа, и робот видит её уже после загрузки страницы. Файл robots.txt управляет обходом: он запрещает скачивание адреса, но не убирает URL из индекса, если на него ведут внешние ссылки. Заголовок X-Robots-Tag — единственный из трёх, который применяется к не-HTML-файлам и передаётся на уровне протокола.
Рабочее правило: обход ограничиваем через robots.txt, HTML-страницу исключаем meta-тегом, файл или ответ API — заголовком. Опасная комбинация — запретить файл в robots.txt и одновременно поставить в заголовке noindex: робот не скачает документ, не увидит запрет индексации, а URL останется в выдаче.
Как применять и какие ошибки встречаются
В Apache заголовок задают модулем mod_headers, в Nginx — директивой add_header, в IIS — разделом HTTP Response Headers. У CDN и облачных хранилищ (Cloudflare, CloudFront, S3) есть свои настройки кастомных заголовков — и именно там правило чаще всего теряется.
Для группы файлов указывают маску по расширению:
Header set X-Robots-Tag "noindex, nofollow" "\.pdf$"
Проверить результат просто: откройте вкладку Network в DevTools или выполните curl -I — заголовок должен быть в ответе сервера, а не в теле документа. Запрет действует не мгновенно: файл исчезает из выдачи через дни или недели, ускоряет процесс повторный обход через инструменты вебмастера.
Частые ошибки при настройке:
- Заголовок добавлен на основном сервере, а контент отдаёт CDN без него.
- Опечатка в имени заголовка или в директиве: неизвестную инструкцию робот молча игнорирует.
- Противоречивые правила в robots.txt, meta-тегах и заголовке — предсказуемого результата ждать не стоит.
- Заголовком закрывают файлы, которые приносят трафик, и замечают потерю видимости только через месяц.
Итог и что изменилось к 2026 году
К 2026 году добавился новый слой — ИИ-поиск и генеративные ответы: краулеры, собирающие данные для них, тоже читают директивы заголовка, поэтому noindex на PDF всё чаще ставят, чтобы документ не попал в цитирующие выборки. Важно помнить: X-Robots-Tag управляет индексацией, но не защищает файл от прямого скачивания. Проверьте, что отдаёт ваш сервер, и держите правила согласованными с robots.txt и meta-тегами.
