Что такое User-Agent (UA)?
User-Agent (UA) — это строка в HTTP-заголовке, которой клиент (браузер, приложение, поисковый робот) представляется серверу и сообщает, кто он и на каком устройстве работает.
User-Agent — это «визитка» клиента, которую сайт видит при каждом запросе: из неё понятно, какое устройство, какая операционная система и какой браузер или бот к нам пришли. Бизнесу она нужна, чтобы корректно показывать контент, читать статистику и отличать настоящих поисковых роботов от сторонних сканеров, которые создают нагрузку и копируют контент.
Как устроена строка User-Agent
Строка UA — это набор токенов, разделённых пробелами и скобками. Типичный вид браузера: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36. Разбирать её удобно по частям:
- первый токен (Mozilla/5.0) — исторический «маркер совместимости», его оставляют почти все браузеры;
- содержимое скобок — платформа: операционная система, её версия, разрядность, иногда модель устройства;
- движок и его версия (AppleWebKit/537.36) — на нём построен рендеринг страницы;
- упоминание Safari/537.36 в конце строки Chrome тоже оставляет — из-за этого наивный парсинг UA даёт неверные выводы.
У ботов строка проще и обычно содержит самоназвание и ссылку на документацию. Поэтому User-Agent — первая, но не единственная зацепка в определении того, кто пришёл на сайт.
Зачем UA нужен бизнесу
Основных сценариев три.
- Адаптация выдачи. Сервер по UA определяет тип устройства и решает, отдать мобильную или десктопную версию, какой формат изображений поддержать.
- Аналитика и сегментация. Отчёты разбивают трафик по устройству, ОС и браузеру — это основа приоритетов в разработке и рекламе.
- Управление роботами. По UA фильтруют технический трафик и настраивают правила в файле robots.txt, а также логику серверных ограничений.
Наконец, UA помогает оценить долю ботов в логах и отделить реальные визиты от сканирования — без этого цифры в Google Analytics 4 и в логах сервера заметно расходятся.
Как проверить подлинность Googlebot и YandexBot
Ключевой момент 2026 года: User-Agent легко подделать. Любой скрипт может представиться Googlebot, поэтому доверять одной строке нельзя. Проверка строится на связке «UA + IP»:
- Находим UA в логах сервера.
- Делаем обратный DNS-запрос к IP: у Googlebot домен должен вести на googlebot.com или google.com, у YandexBot — на yandex.ru или yandex.net.
- Выполняем прямой DNS-запрос к полученному имени и убеждаемся, что он возвращает тот же IP.
Для Googlebot Google публикует и диапазоны IP, которые можно сверять автоматически. Массовую проверку логов удобно автоматизировать скриптом, запущенным из CLI, либо через серверный middleware. Отдельно стоит помнить: современные роботы Яндекса и Google всё чаще рендерят JavaScript, а часть краулеров ИИ-сервисов приходит под своими UA — их пускают осознанно или ограничивают.
Типичные ошибки
- Блокировка по подстроке. Фильтр «bot» в UA отсекает и полезных роботов, и часть браузеров — надёжнее вести белый список проверенных UA и IP.
- Определение устройств только по UA. Мобильные браузеры и режим «как на компьютере» ломают логику; работают в связке с Client Hints и адаптивной вёрсткой.
- Доверие UA без проверки IP. Поддельный Googlebot нагружает сервер и копирует контент, а в отчётах создаёт фиктивные визиты.
- Путаница с аббревиатурой. UA — это ещё и Universal Analytics, прежняя версия Google Analytics, отключённая в 2023–2024 годах: в отчётах GA4 этих данных нет. Контекст подсказывает, о чём речь — строка в логах или старая система аналитики.
Что изменилось к 2026 году
Браузеры продолжают сокращать UA: Chrome и другие постепенно урезают детализацию строки, перенося данные в Client Hints, а «заморозка» формата давно стала нормой. Для SEO это значит, что проверка ботов должна опираться на IP и DNS, а не на текст UA, а сведения о пользователях корректнее собирать через серверные события. Сам термин остаётся базовым: UA по-прежнему первый сигнал о том, кто пришёл на сайт, — но не доказательство.