Начать беседу

Как снизить нагрузку на сайт от Netpeak Spider?

В некоторых случаях настройки Netpeak Spider, используемые по умолчанию, не подходят. Обычно это происходит при сканировании:

  • медленных сайтов — с низкой скоростью обработки запросов;
  • сайтов с дополнительной защитой от парсинга — с ограничением по количеству одновременных запросов к серверу.


Чтобы снизить нагрузку на сайт, можно применить следующие настройки:

  • на вкладке «Основные»: 
    • Значительно уменьшить количество потоков сканирования (например, до одного или двух потоков). По умолчанию установлено 10 потоков, что обеспечивает достаточно быстрое сканирование для большинства сайтов. Если данный способ не сработал, то попробуйте установить сканирование в один поток с задержкой между запросами в 1500-3000 мс, чтобы максимально уменьшить скорость сканирования.
    • Отключить сканирования изображений, PDF, CSS и других типов файлов, а также рендеринг JavaScript, что уменьшит количество запросов во время сканирования. Обратите внимание, что в таком случае проверка этих файлов на основные SEO-параметры проводиться не будет.

Снижение нагрузки в основных настройках

  • на вкладке «Ограничения» вы можете задать:
    • максимальное количество сканируемых URL;
    • максимальную глубину сканирования (расстояние в кликах от начального URL до анализируемого);
    • максимальную вложенность URL (количество сегментов в URL у анализируемой страницы).

Снижение нагрузки в настройках ограничений

  • на вкладке «Правила»:
    • ограничить область сканирования, исключив из неё определённые типы страниц или целые разделы.

Снижение нагрузки в настройках правил

Выберите файлы или перетащите файлы
Была ли эта статья Вам полезна?
Да
Нет

Всё ещё думаете?

Тысячи специалистов по всему миру используют Netpeak Spider и Checker. Регистрируйтесь, чтобы начать бесплатный 14-дневный триал!