Начать беседу

Настройки User Agent

User Agent — это идентификатор, являющийся частью HTTP-запроса и содержащий информацию об устройстве, через которое будет происходить соединение с сервером сайта. 

По умолчанию Netpeak Spider осуществляет сканирование c использованием User Agent Google Chrome. С помощью смены User Agent можно тестировать доступность сайта 

  • для роботов поисковых систем
  • для разных браузеров, 
  • для различных устройств, например для смартфона или планшета.

Настройка User Agent происходит в отдельной вкладке с соответствующим названием в меню настроек.

Настройки User Agent

Список категорий в настройках User Agent в программе:

Netpeak Spider → User Agent для идентификации программы. К серверу сайта краулер будет обращаться открыто с проверкой ботом NetpeakSpiderBot.

Поисковые системы → User Agent этой категории используются для проверки правильности прописанных инструкций индексации для роботов поисковых систем в файле robots.txt, в теге Meta Robots и в HTTP-заголовках X-Robots-Tag. 

В настройках User Agent можно выбрать следующие поисковые системы:

  • Google;
  • Bing;
  • Yahoo;
  • DuckDuckGo;
  • Yandex;
  • Mail.ru;
  • Seznam;
  • Qwant;
  • Baidu;
  • Naver.

Браузеры → позволяют имитировать посещение реальных пользователей. Также проверяют:

  • нет ли нежелательных редиректов, ссылок или целых блоков в отдельных браузерах;
  • отображается ли специальный контент для определённых браузеров (например, сообщение, что сайт не работает на версии Internet Explorer 9).

Вы можете выбрать следующие браузеры:

  • Chrome;
  • Firefox;
  • Opera;
  • Safari;
  • Yandex;
  • Microsoft Edge;
  • Internet Explorer.

Устройства → используются для проверки доступности разных версий сайта (десктопная, мобильная и версия для планшетов). В пункте «Устройства» вы можете выбрать следующие варианты:

  • Desktop Windows;
  • Desktop Mac OS X;
  • Tablet Apple;
  • Tablet Android;
  • Mobile Apple 
  • Mobile Android.

Кастомные настройки → позволяют задавать собственный User Agent для HTTP запросов и Robots User Agent в полях с соответствующими названиями.

Информация о выбранном User Agent

В правой части окна User Agent отображаются выбранные настройки, а именно:

  • Выбранный шаблон → содержит название выбранного вами шаблона из левой части окна;

  • Категория → отображает одну из пяти категорий User Agent для выполнения различных задач;

  • User Agent HTTP запросов → информация, которая будет отправлена в поле «User-Agent» HTTP-заголовка запроса к серверу;

  • Robots User Agent → эта настройка используется, чтобы установить User Agent для инструкций из файла robots.txt / Meta Robots / X-Robots-Tag.
Выберите файлы или перетащите файлы
Была ли эта статья Вам полезна?
Да
Нет

Всё ещё думаете?

Тысячи специалистов по всему миру используют продукты Netpeak Software для ежедневных SEO-задач. Регистрируйтесь, чтобы получить бесплатный доступ прямо сейчас!