User Agent — это идентификатор, являющийся частью HTTP-запроса и содержащий информацию об устройстве, через которое будет происходить соединение с сервером сайта.
По умолчанию Netpeak Spider осуществляет сканирование c использованием User Agent Google Chrome. С помощью смены User Agent можно тестировать доступность сайта
- для роботов поисковых систем
- для разных браузеров,
- для различных устройств, например для смартфона или планшета.
Настройка User Agent происходит в отдельной вкладке с соответствующим названием в меню настроек.
Список категорий в настройках User Agent в программе:
Netpeak Spider → User Agent для идентификации программы. К серверу сайта краулер будет обращаться открыто с проверкой ботом NetpeakSpiderBot.
Поисковые системы → User Agent этой категории используются для проверки правильности прописанных инструкций индексации для роботов поисковых систем в файле robots.txt, в теге Meta Robots и в HTTP-заголовках X-Robots-Tag.
В настройках User Agent можно выбрать следующие поисковые системы:
- Google;
- Bing;
- Yahoo;
- DuckDuckGo;
- Yandex;
- Mail.ru;
- Seznam;
- Qwant;
- Baidu;
- Naver.
Браузеры → позволяют имитировать посещение реальных пользователей. Также проверяют:
- нет ли нежелательных редиректов, ссылок или целых блоков в отдельных браузерах;
- отображается ли специальный контент для определённых браузеров (например, сообщение, что сайт не работает на версии Internet Explorer 9).
Вы можете выбрать следующие браузеры:
- Chrome;
- Firefox;
- Opera;
- Safari;
- Yandex;
- Microsoft Edge;
- Internet Explorer.
Устройства → используются для проверки доступности разных версий сайта (десктопная, мобильная и версия для планшетов). В пункте «Устройства» вы можете выбрать следующие варианты:
- Desktop Windows;
- Desktop Mac OS X;
- Tablet Apple;
- Tablet Android;
- Mobile Apple
- Mobile Android.
Кастомные настройки → позволяют задавать собственный User Agent для HTTP запросов и Robots User Agent в полях с соответствующими названиями.
Информация о выбранном User Agent
В правой части окна User Agent отображаются выбранные настройки, а именно:
- Выбранный шаблон → содержит название выбранного вами шаблона из левой части окна;
- Категория → отображает одну из пяти категорий User Agent для выполнения различных задач;
- User Agent HTTP запросов → информация, которая будет отправлена в поле «User-Agent» HTTP-заголовка запроса к серверу;
- Robots User Agent → эта настройка используется, чтобы установить User Agent для инструкций из файла robots.txt / Meta Robots / X-Robots-Tag.