В некоторых случаях вы можете обнаружить, что данные в Netpeak Spider отличаются от тех, что вы видите на сайте. Вот ряд причин, из-за которых возможна подобная ситуация:
-
Некорректный ответ сервера при обращении к странице. Эта проблема может быть связана с тем, что сервер, на котором расположен данный сайт, некорректно работает при получении большого количества запросов, или же на нём установлена защита от большого количества одновременных запросов.
Показателями такой ситуации могут быть:-
значительное увеличение времени ответа сервера (TTFB);
-
большое количество сканируемых страниц, которые возвращают 5хх код ответа.
Иногда сервер возвращает код ответа «200 ОК», однако содержимое страницы является неполным и/или некорректным, что видно по отсутствующим значениям во множестве параметров. Самый простой способ проверить, какой именно исходный код был отдан краулеру в ходе сканирования, — задайте настройки парсинга «XPath» по значению «/», выберите опцию «Внутренний HTML-код» и запустите сканирование.
-
-
Для различных устройств, пользователей и поисковых роботов отображается разный контент. Таким образом, в браузере и Netpeak Spider вы видите две разные версии сайта, так как они были сформированы для двух разных User Agent (по умолчанию в Netpeak Spider используется Google Chrome).
Чтобы проверить влияние этого параметра на получаемые данные, нужно изменить User Agent в соответствующем разделе настроек. Например: Поисковые системы → Google → Googlebot.
-
Некоторые сайты могут отдавать различное содержимое (например, языковую версию, цены и т.д.) в зависимости от местоположения устройства, с которого осуществляется запрос. Чтобы просмотреть другие версии сайта, воспользуйтесь функцией доступа с помощью прокси.
-
Сайт содержит информацию, которая отображается пользователю с помощью JavaScript (JS). По умолчанию Netpeak Spider сканирует только статичный HTML-код без рендеринга JS-кода.
Чтобы начать сканирование страниц с использованием JS, вам необходимо отметить галочкой пункт «Рендерить JavaScript» на вкладке основных настроек. При необходимости измените Ajax Timeout (по умолчанию установлена задержка в 2 секунды). -
