Мультидоменное сканирование

Изменено Mon, 09 Oct 2023 на 07:39 PM

1. Зачем нужна функция и чем полезна
2. Как включить мультидоменное сканирование в Netpeak Spider
3. Работа с результатами сканирования
4. Пример использования

1. Зачем нужна функция и чем полезна:

Мультидоменное сканирование — это функция, позволяющая одновременно сканировать несколько доменов вглубь в рамках одной сессии. 

Данные по сканированию выводятся в единую таблицу, и по ним доступен стандартный набор возможностей Netpeak Spider. 

Функция используется, чтобы:

  • просканировать несколько доменов вглубь;
  • просканировать список URL и найти на них битые ссылки;
  • найти страницы с контактами из списка сайтов.

2. Как включить мультидоменное сканирование в Netpeak Spider

Чтобы активировать функцию, необходимо:

2.1. Отметить соответствующий пункт на основной вкладке настроек. 

включить мультидоменное сканирование


Обратите внимание, что пункт «Включить мультидоменное сканирование» и «Сканировать только внутри раздела» несовместимы. При выборе одного второй деактивируется автоматически. 


2.2. Добавить адреса необходимых доменов в основную таблицу:


  • с помощью кнопки «Добавить URL»;

добавить с помощью кнопки


  • выбрав один из возможных вариантов добавления в выпадающем меню «Список URL»;

добавить с помощью меню


2.3. Запустить сканирование кнопкой «Старт». Все указанные домены программа будет параллельно сканировать вглубь. Если в поле «Начальный URL» был внесён URL, он тоже будет просканирован. 

Запустить сканирование


Обратите внимание, что:

• все URL, которые были внесены в таблицу и в поле «Начальный URL», должны отвечать 200 кодом ответом сервера;

• после завершения сканирования только URL, принадлежащие хосту, указанному в поле «Начальный URL», будут считаться внутренними;

• для данного типа сканирования невозможно указать максимальное количество сканируемых URL для каждого отдельного домена, во вкладке «Ограничения» настроек.

3. Работа с результатами сканирования

После завершения сканирования или нажатия на паузу будет доступна выгрузка стандартного набора отчётов. Если вам необходимо работать с определённой частью результатов, отфильтруйте их следующим способом:

  • с помощью функции сегментации отфильтруйте необходимую информацию. Вы можете задавать неограниченное количество параметров для фильтрации;

Работа с результатами сканирования


  • на вкладке «Сводка» боковой панели отфильтруйте результаты по определённому параметру, применив его как сегмент;

результаты в сводке


  • как сегмент вы можете применить и ошибки.

сегментация с ошибками


После использования функции «Применить как сегмент», программа полностью перестроится — Дашборд, Сводка, Ошибки, База данных и другие параметры будут отображаться относительного применённого сегмента.

Подробнее о данной функции вы можете узнать в статье «Что такое сегментация в Netpeak Spider, и как её использовать».


4. Пример использования

4.1. Массовый анализ доменов

Для экономии времени при регулярной проверке доменов на SEO-ошибки и битые ссылки вы можете просканировать их в рамках одной сессии, воспользовавшись функцией мультидоменного сканирования. Для этого необходимо:

  1. Отметить пункт «Включить мультидоменное сканирование» на основной вкладке настроек.
  2. Добавить список доменов в основную таблицу.
  3. Выбрать нужные параметры для анализа на боковой панел.
  4. Нажать «Старт» и дождаться окончания сканирования.
  5. Сегментировать полученные результаты в зависимости от поставленных задач.   

Опционально вы можете ограничить глубину сканирования на вкладке настроек «Ограничения», чтобы анализировать домены не переходя глубже одного URL от главной страницы.

4.2. Поиск контактов

Чтобы быстро собрать контакты (e-mail, мобильные телефоны) с нескольких  сайтов одновременно, вы можете поступить следующим образом:

  1. Отметить пункт «Включить мультидоменное сканирование».
  2. Добавить список доменов в основную таблицу.
  3. Выбрать шаблон «Минимум» на боковой панели для ускорения процесса краулинга. 
  4. На вкладке настроек «Ограничения» установить глубину «1», так как страницы «О нас», «Контакты» и подобные располагаются именно на такой глубине. 
  5. Нажать «Старт» и дождаться окончания сканирования;
  6. Перенести полученные URL в Netpeak Checker и проверить их на наличие контактной информации.

4.3. Проверка наличия битых ссылок в списке URL

Чтобы проверить наличие битых ссылок в списке URL, нужно:

1. Вставить список URL (можно импортировать из XML Sitemap).
2. Во вкладке настроек «Ограничения» задать глубину сканирования «1» .
3. Запустить сканирование кнопкой «Старт».
4. После завершения сканирования отфильтровать результаты в главной таблице:

  • настроив сегмент по параметру «Код ответа сервера» = «404 Not Found»,
  • на боковой панели «Отчёты», где в списке ошибок с высокой критичностью выбрать «Битые страницы»,и применить его как сегмент.


5. Просмотреть отчёт по битым ссылкам. Инструкцию можно найти в статье «Как в Netpeak Spider посмотреть, какие страницы содержат битые ссылки».

Статья помогла?

Отлично!

Спасибо за ваш отзыв

Извините, что не удалось помочь!

Спасибо за ваш отзыв

Расскажите, как мы можем улучшить эту статью!

Выберите хотя бы одну причину
Требуется проверка CAPTCHA.

Комментарий отправлен

Мы ценим вашу помощь и постараемся исправить статью