Начать беседу

Виртуальный robots.txt

Встроенная функция «Виртуальный robots.txt» позволяет протестировать новый или обновлённый robots.txt, не меняя действующий файл в корневой директории сканируемого сайта.

Чтобы настроить виртуальный robots.txt, необходимо перейти в «Настройки» → вкладка «Виртуальный robots.txt», отметить галочкой «Использовать виртуальный robots.txt», задать свои инструкции и сохранить настройки, нажав «ОК». 

Настройка виртуального robots.txt

Чтобы приступить к тестированию составленного вами виртуального файла robots.txt,  в поле «Начального URL» на панели управления введите адрес сайта и запустите сканирование кнопкой «Старт». 

Вы можете воспользоваться функциями: 

  • Копировать → для сохранения в буфер обмена содержимого окна; 
  • Сохранить (Alt+S) → для записи виртуального файла robots.txt в формате текстового документа на ваше устройство;
  • Вставить → помещает текст из буфера обмена;
  • Очистить → для удаления содержимого всего окна.


Значения, актуальные для прописанного вами виртуального файла, отобразятся в колонках основной таблицы:

  • «Код ответа сервера» →  если доступ к странице запрещён директивой в robots.txt, к коду ответа сервера прибавляется частица «Disallowed». 
  • «Разрешён в robots.txt» → отображается значение «TRUE», если доступ к странице разрешён директивой Allow или в файле не содержится инструкций, запрещающих индексировать страницу — в противном случае отображается значение «FALSE».  
  • «Директива из robots.txt» → показывает, какой именно директивой разрешён или запрещён доступ к странице, а также её порядковый номер в файле. Если такой инструкции нет, то отображается значение «(NULL)».


Результат настройки

Чтобы краулер следовал указанным инструкциям, необходимо активировать учёт инструкций в robots.txt на вкладке «Продвинутые» в настройках программы.

Продвинутые настройки

Примечание: если опция «Виртуальный robots.txt» отключена, то программа будет следовать инструкциям и отображать их из настоящего файла robots.txt. На результат сканирования будет также влиять выбранный вами User Agent.

Выберите файлы или перетащите файлы
Была ли эта статья Вам полезна?
Да
Нет

Всё ещё думаете?

Тысячи специалистов по всему миру используют Netpeak Spider и Checker. Регистрируйтесь, чтобы начать бесплатный 14-дневный триал!