Одна из ключевых особенностей Netpeak Spider — возможность максимально гибкой настройки сканирования в соответствии с индивидуальными требованиями пользователя. Для упрощения и ускорения настройки сканирования, мы реализовали ряд функций:
-
Опции — для быстрого доступа на последнюю открытую вами вкладку настроек.
-
Преднастроенные шаблоны настроек.
-
Возможность сохранять собственные шаблоны настроек.
-
Быстрое восстановление настроек по умолчанию.
-
Возможность изменять настройки скорости сканирования не ставя его на паузу.
1. Опции
«Опции» располагаются в главном меню → «Настройки». Они служат для быстрого перехода на последнюю открытую вкладку настроек и могут быть также вызваны горячими клавишами Ctrl+G. Если же вы впервые заходите в настройки Netpeak Spider, «Опции» перенаправят вас на вкладку «Основные».
В программе доступны следующие типы настроек:
- Основные настройки → изменение языка программы, скорости сканирования и его базовых настроек.
- Продвинутые настройки → позволяют настраивать учёт инструкций индексации, задавать автоматическую остановку краулинга при превышении допустимого количества запросов за короткое время на сканируемом сайте, а также сканирование определённых видов страниц.
- Настройки виртуального robots.txt → дают возможность протестировать новый или обновлённый robots.txt, не меняя действующий файл сканируемого сайта.
- Настройки парсинга → позволяют извлечь любые массивы данных из HTML-страниц, проверить внедрение систем аналитики, микроразметки, метатегов и многое другое.
- Настройки User Agent → предоставляют возможность задать заголовок запроса к серверу из списка или свой собственный, по которому программа идентифицируется сервером сканируемого сайта.
- Настройки HTTP-заголовков → позволяет указывать кастомные заголовки для HTTP-запросов от программы к сайтам.
- Настройки ограничений → позволяют самостоятельно устанавливать ограничения сканирования сайта, например автоматическую остановку сканирования при достижении определённого количества страниц, глубины или вложенности, а также ограничения, определяющие ошибки.
- Настройки проверки орфографии → позволяет найти на страницах слова с ошибками правописания.
- Настройки Google Analytics и Search Console → позволяет получать данные из сервисов Google Analytics и Search Console, вам необходимо добавить аккаунт Google (вы можете добавить несколько аккаунтов для одновременной работы с ними).
- Настройки Яндекс Метрики → позволяет получать данные из сервиса Яндекс Метрика, вам необходимо добавить аккаунт Яндекс (вы можете добавить несколько аккаунтов для одновременной работы с ними).
- Настройки экспорта → для выбора формата файлов экспорта, региональных установок и других параметров отчётов.
- Настройки аутентификации → позволяют провести SEO-аудит сайта, закрытого для доступа с помощью базовой аутентификации. При использовании данного вида аутентификации, имя пользователя и пароль включаются в состав веб-запроса (HTTP POST или HTTP GET).
- Настройки прокси → необходимы для задания списка прокси.
- Настройки White Label → позволяет убрать из PDF-отчёта «Технический SEO-аудит» брендовые элементы Netpeak Software и добавить собственный логотип, необходимые контактные данные и рекомендации клиенту.
Все предложенные выше варианты вы можете комбинировать необходимым для вас образом.
2. Шаблоны настроек
Шаблоны — это комбинации настроек, заданных под определённые виды сканирования: от общей проверки сайта до сканирования «глазами поисковых роботов».
В Netpeak Spider реализованы следующие преднастроенные шаблоны:
- Текущий → текущие настройки проекта.
- Пользовательский: последний → возвращает настройки, заданные при последнем сканировании.
- По умолчанию → предустановленные настройки. Подробнее о них в статье «Запуск сканирования в Netpeak Spider».
- По умолчанию: бот → не сканируются внешние ссылки и учитывается максимум инструкций по индексации.
- По умолчанию: внутри раздела → применяется для сканирования внутри определённой категории сайта, не покидая её. Не сканируются изображения, файлы формата PDF и прочие.
- Из открытого проекта → подгружает сохранённые настройки из открытого проекта, без учёта выставленных только что конфигураций.
Кроме того, вы можете сохранять собственные шаблоны настроек для быстрого доступа к ним в будущем.
Чтобы сохранить шаблон:
- Задайте необходимые настройки.
- Выберите «Сохранить» или «Сохранить как...» в выпадающем меню.
- Впишите название шаблона и нажмите «OK».
Шаблоны применяются ко всем настройкам проекта и не касаются настроек приложения (вкладки «Экспорт», «Прокси», Google Analytics и тд), а также не хранят данные базовой аутентификации (так как это ваши личные данные).
3. Кнопки управления
- «ОК» → для сохранения внесённых изменений.
- «Восстановить настройки по умолчанию» → для возврата к стандартным настройкам. Находится в нижней части окна и действует только на текущую вкладку.
- «Отмена» и «Закрыть» → закрывают окно настроек без сохранения внесенных изменений.
4. Изменение настроек в ходе сканирования
Чтобы изменить настройки и параметры, необходимо приостановить сканирование (кнопкой «Пауза») и после внесения изменений продолжить с помощью кнопки «Старт». Новые настройки будут учитываться для ещё не просканированных URL, а страницы, которые уже попали в результаты, останутся без изменений.
Однако, количество потоков сканирования можно менять, не прерывая процесс краулинга.