В некоторых случаях настройки Netpeak Spider, используемые по умолчанию, не подходят. Обычно это происходит при сканировании:
- медленных сайтов — с низкой скоростью обработки запросов;
- сайтов с дополнительной защитой от парсинга — с ограничением по количеству одновременных запросов к серверу.
Чтобы снизить нагрузку на сайт, можно применить следующие настройки:
- на вкладке «Основные»:
- Значительно уменьшить количество потоков сканирования (например, до одного или двух потоков). По умолчанию установлено 10 потоков, что обеспечивает достаточно быстрое сканирование для большинства сайтов. Если данный способ не сработал, то попробуйте установить сканирование в один поток с задержкой между запросами в 1500-3000 мс, чтобы максимально уменьшить скорость сканирования.
- Отключить сканирования изображений, PDF, CSS и других типов файлов, а также рендеринг JavaScript, что уменьшит количество запросов во время сканирования. Обратите внимание, что в таком случае проверка этих файлов на основные SEO-параметры проводиться не будет.
- на вкладке «Ограничения» вы можете задать:
- максимальное количество сканируемых URL;
- максимальную глубину сканирования (расстояние в кликах от начального URL до анализируемого);
- максимальную вложенность URL (количество сегментов в URL у анализируемой страницы).
- на вкладке «Правила»:
- ограничить область сканирования, исключив из неё определённые типы страниц или целые разделы.
