Начать беседу

Почему Netpeak Spider не сканирует мой сайт?

Обратите внимание, что скорее всего роботы поисковых систем во время сканирования сайта испытывают те же трудности, что и Netpeak Spider. Поэтому следующие ошибки советуем устранять как можно скорее, чтобы избежать возможной пессимизации поисковыми системами и ухудшения поведенческих показателей.


Список причин, из-за которых определённые сайты могут не сканироваться:

  1. Сайт закрыт от индексации одним или несколькими из возможных способов — robots.txt, Meta Robots, X-Robots-Tag.

    Решения:

    • отключить учёт этих правил в настройках на вкладке «Продвинутые»;

    • открыть сайт к индексации, так как иначе высока вероятность, что у сайта будут большие проблемы с трафиком из поисковых систем.
      Не учитывать инструкции по индексации

  2. На сайте некорректно прописан canonical. Это часто происходит при переезде на новый протокол.

    Решения: 

    • отключить учёт инструкции canonical в настройках на вкладке «Продвинутые»;

    • прописать корректную ссылку на сайте.
      Отключить учёт инструкции Canonical

  3. На сайте запрещён доступ для определённых User Agent, например, для Googlebot.

    Решение: сменить текущий User Agent в настройках Netpeak Spider.
    Сменить текущий User Agent

  4. По каким-то причинам ваш IP-адрес был заблокирован на сканируемом сайте.

    Решение: использовать прокси.
    Использовать прокси

  5. На сканируемом сайте требуется авторизация.

    Решение: прописать данные для входа (логин и пароль) в настройках сканирования в разделе «Аутентификация». Данный способ работает только для базовой аутентификации, которая включается в HTTP-запрос и зачастую используется на этапе разработки сайта.
    Прописать данные для аутентификации

  6. Ошибка «SendFailure» может проявиться на сайтах с HTTPS-протоколом, если вы используете Netpeak Spider на Windows версии ниже 7 SP2, так как такие версии операционных систем не поддерживают шифрование TLS 1.2.

    Решения: 

    • запустить Netpeak Spider на устройстве с Windows 7 SP2 и более поздних версий;

    • если вы владелец сайта, настроить поддержку более ранних версий шифрования (TLS 1.0).

  7. Ошибка «ConnectFailure» означает, что невозможно установить соединение с сервером. Зачастую она появляется при сканировании сайтов с HTTP-протоколом. Если в поле «Начальный URL» вы ввели только имя домена, срабатывает автоматическая подстановка префикса защищённого протокола HTTPS, что не даёт установить соединение.

    Решение: достаточно в начальном URL изменить префикс на http://.

  8. Сканируемый сайт написан на JavaScript. По умолчанию Netpeak Spider сканирует только статичный HTML-код без рендеринга JavaScript-кода.

    Решение: отметить галочкой пункт «Рендерить JavaScript» на вкладке основных настроек. При необходимости измените Ajax Timeout (по умолчанию установлена задержка в 2 секунды).   Включить рендеринг JavaScript


  9. Страницы сканируемого сайта с самого начала или с определённого момента отдают 5хх код ответа сервера. Эта проблема может быть связана с тем, что сервер, на котором расположен данный сайт, некорректно работает при получении большого количества запросов, или же на нём установлена защита от большого количества одновременных запросов.

    Решения: 

    • пересканировать только страницы с 5хх кодом ответа сервера: уменьшить количество потоков в настройках на вкладке «Основные», отфильтровать страницы с 5хх кодом ответа и в контекстном меню выбрать пункт «Текущая таблица» → «Пересканировать таблицу»;

    • пересканировать весь проект: аналогично уменьшить количество потоков и повторить сканирование, нажав кнопку «Рестарт».

      Мы рекомендуем установить значение в 2 потока. Если проблема повторится снова, следует выставить значение в один поток, а также задать дополнительную задержку между запросами в 2000 мс. Сканирование займёт больше времени, но такие настройки позволят избежать чрезмерной нагрузки на сервер.

Настроить скорость сканирования сайта


Обратите внимание, что нагрузка в 5-10 потоков не является слишком большой: мы советуем обеспечить корректную работу сервера при такой нагрузке, чтобы посетители сайта могли быстро и комфортно перемещаться по нему без длительного ожидания ответа. Если вы часто встречаетесь с такими проблемами, рекомендуем провести оптимизацию скорости ответа сервера и/или выбрать более подходящий хостинг.

Выберите файлы или перетащите файлы
Была ли эта статья Вам полезна?
Да
Нет

Всё ещё думаете?

Тысячи специалистов по всему миру используют продукты Netpeak Software для ежедневных SEO-задач. Регистрируйтесь, чтобы начать бесплатный 7-дневный триал прямо сейчас!