Начать беседу

Настройки парсинга

  1. Виды парсинга в Netpeak Spider.
  2. Применение функции извлечения данных.
  3. Настройки условий парсинга.
  4. Отображение условий парсинга на боковой панели.
  5. Результаты извлечения данных.

Парсинг — это функция, позволяющая находить и извлекать необходимую информацию с веб-ресурса. Функция парсинга в Netpeak Spider позволяет настроить до 100 условий поиска и извлечения любых HTML-данных, например, для проверки внедрения систем аналитики, микроразметки, метатегов для социальных сетей, а также для извлечения объёмных массивов данных (цен, контактов, социальных метрик и других).

1. Виды парсинга в Netpeak Spider

В программе доступны четыре вида парсинга:

  • Содержит → поиск и подсчёт количества вхождений искомой фразы на странице.

  • RegExp → извлекает все значения, соответствующие заданному регулярному выражению. Позволяет больше кастомизировать процесс, значительно расширяя возможности поиска, однако требует базовых знаний регулярных выражений.

  • CSS-селектор → извлекает все значения необходимых HTML-элементов на основе заданного CSS-селектора.

  • XPath → извлекает все значения необходимых HTML-элементов на основе заданного XPath. 

2. Применение функции извлечения данных

Чтобы запустить поиск и извлечение данных, нужно:

  1. В главном меню перейти в «Настройки» → «Парсинг». 
  2. Отметить пункт «Использовать парсинг HTML-данных» для активации настроек.
  3. Настроить условия и нажать «OK».
  4. Запустить сканирование. 

Настройки парсинга

3. Настройки условий парсинга

Условия парсинга содержат поля:  

Название → необязательное поле, но оно помогает быстро сориентироваться в результатах сканирования по нескольким условиям сбора данных.

Вид поиска → в выпадающем меню предлагает выбрать один из четырёх вариантов: Содержит, RegExp, CSS-селектор или XPath.

Поисковое выражение выражение, с помощью которого извлекаются данные. Зависит от того, какой вид поиска выбран. В рамках каждого работает валидация, которая быстро покажет, корректно ли заполнено поле.

Область поиска → можно выбрать только для «Содержит» и «RegExp». Если нажать на него, в выпадающем меню появятся два варианта:

  • Весь исходный код → поиск искомого выражения на странице, включая все HTML-теги;
  • Только текст (исключая HTML-теги) → поиск исключительно по тексту страницы.


Извлечение данных → это поле доступно при задании CSS-селектора или выражения XPath. Может иметь один из четырёх параметров:

  • Внутренний текст → извлечение текста внутри указанного элемента, включая внутренний текст всех его дочерних HTML-тегов. Сам HTML-код не извлекается.
  • Внутренний HTML-код → извлечение всего содержимого элемента, включая внутренний HTML-код; 
  • Весь HTML-элемент → извлечение всего содержимого элемента, включая внутренний HTML-код и код самого элемента.
  • Значение атрибута → извлечение содержимого указанного атрибута. 


Не учитывать регистр → только для поиска «Содержит» и «RegExp». По умолчанию парсер не будет учитывать регистр, что позволяет упростить поиск необходимых фраз.


Обратите внимание, что в программе есть валидация выражений. Если выражение (условие парсинга) подходит под критерии соответствующего синтаксиса, кружок с номером условия подсветится зелёным. В противном случае кружок станет красным, и под полем ввода выражения появится информация об ошибке.

Проверка выражений

4. Отображение условий парсинга на боковой панели

Настройки для парсинга отображаются в виде параметров на боковой панели во вкладке «Параметры». Если вы не внесли названия, они примут вид самого условия.

5. Результаты извлечения данных

После окончания сканирования в боковом меню на вкладке «Отчёты» → «Парсинг» отобразятся результаты парсинга. Результаты разделены на две категории, в зависимости от наличия искомых значений — «Есть» и «Нет».

Чтобы получить полный отчёт нужно нажать на кнопку «Показать все результаты».

Чтобы увидеть отчёт с выбранное значением, выберите нужную категорию и нажмите на кнопку «Показать выбранные». 

Полные отчёты по парсингу можно также увидеть, если перейти в главном меню программы к «Базам данных». 


Рекомендуем ознакомиться со статьёй «», чтобы понять как необходимо подбирать настройки парсинга.

Выберите файлы или перетащите файлы
Была ли эта статья Вам полезна?
Да
Нет

Всё ещё думаете?

Тысячи специалистов по всему миру используют продукты Netpeak Software для ежедневных SEO-задач. Регистрируйтесь, чтобы начать бесплатный 7-дневный триал прямо сейчас!