Что такое robots.txt?
Robots.txt (Robots Exclusion Protocol, «протокол исключения роботов») — текстовый файл в корне сайта, который сообщает поисковым роботам, какие страницы и разделы можно сканировать, а какие — нет.
Простыми словами, robots.txt — это правила дорожного движения для роботов: сайт сам сообщает, куда заходить можно, а куда не нужно. В обиходе его называют просто «роботс». Бизнесу он нужен, чтобы роботы не тратили краулинговый бюджет на служебные и дублирующиеся страницы, не создавали нагрузку на админку и не вытаскивали в поиск то, что вы показывать не хотите. Но помните: файл управляет только сканированием, а не индексацией.
Как работает robots.txt
Файл лежит в корне домена и доступен по адресу https://ваш-сайт.ru/robots.txt. Робот запрашивает его через HTTP и перед обходом сайта читает правила. Если файла нет или сервер отвечает кодом 404, робот считает, что ограничений нет, и сканирует всё, что найдёт.
Файл состоит из блоков. Каждый начинается со строки User-agent — она задаёт, к какому роботу относится правило: Yandex, Googlebot, а с недавних пор и отдельные ИИ-краулеры. Внутри блока работают директивы:
- Disallow — запрещает сканирование указанного пути;
- Allow — разрешает его, в том числе как исключение из более широкого запрета;
- Sitemap — указывает адрес карты сайта;
- Clean-param — подсказка Яндексу, какие параметры URL не создают новую страницу.
Правила читаются сверху вниз, но выигрывает не первое, а самое конкретное совпадение — самая длинная подходящая маска. При равной длине приоритет у Allow. Разобраться, как робот обходит сайт, помогает статья про поискового робота (краулера).
Зачем нужен: сканирование — не индексация
Ключевой момент: robots.txt управляет сканированием, а не индексацией. Запрещённый URL всё равно может попасть в индекс — по внешним ссылкам или из старых данных, а в выдаче появиться без описания.
Чтобы страница не индексировалась, нужен другой инструмент — директива noindex в метатеге или HTTP-заголовке. И сочетать её с запретом в robots.txt не стоит: робот не увидит метку, если ему запретили читать страницу.
Типовые задачи, которые решает файл:
- закрыть служебное — админку, личный кабинет, корзину, оформление заказа;
- убрать из обхода фильтры, сортировки и пагинацию с параметрами, чтобы не плодить дубли;
- запретить обход внутреннего поиска по сайту;
- наоборот, подсказать важные разделы через Sitemap.xml.
Типичные ошибки
- Disallow: /, оставшийся после тестовых работ, — самый быстрый способ выкинуть весь сайт из обхода.
- Запрет на CSS, JS и картинки: робот должен видеть оформление и подгружаемый контент.
- Опечатки и неверный регистр — директивы чувствительны к написанию, а сломанная маска превращает правило в мусор.
- Ошибка сервера (5xx) на самом файле: робот может решить, что сайт недоступен, и отложить обход целиком.
- Надежда, что запрет уберёт страницу из выдачи, — это вопрос индексации, а не robots.txt.
Проверяйте правки до публикации: в Яндекс Вебмастере есть валидатор robots.txt, в Google Search Console — отчёт по файлу, а ответ сервера удобно смотреть вручную через HTTP-заголовки.
Что изменилось к 2026 году
Базовые директивы закреплены в стандарте RFC 9309 и не меняются годами. Меняется контекст: с ростом ИИ-поиска (Яндекс Нейро, Google AI Overviews, чат-боты с веб-доступом) в файле всё чаще появляются отдельные блоки для краулеров вроде GPTBot, ClaudeBot и PerplexityBot.
Практический вывод: запрет в robots.txt теперь влияет не только на классическую выдачу, но и на то, попадёт ли сайт в ответы ИИ-сервисов. Закрывать их «на всякий случай» невыгодно — вы теряете канал трафика, который растёт быстрее обычного поиска.
Коротко
Robots.txt — базовый инструмент технического SEO: он экономит краулинговый бюджет и прячет служебные страницы, но не заменяет noindex и не удаляет URL из индекса. Проверяйте файл после каждого релиза и отдельно следите за блоками для ИИ-краулеров — в 2026 году это часть видимости сайта.
