Встроенная функция «Виртуальный robots.txt» позволяет протестировать новый или обновлённый robots.txt, не меняя действующий файл в корневой директории сканируемого сайта.
Чтобы настроить виртуальный robots.txt, необходимо перейти в «Настройки» → вкладка «Виртуальный robots.txt», отметить галочкой «Использовать виртуальный robots.txt», задать свои инструкции и сохранить настройки, нажав «ОК».
Чтобы приступить к тестированию составленного вами виртуального файла robots.txt, в поле «Начального URL» на панели управления введите адрес сайта и запустите сканирование кнопкой «Старт».
Вы можете воспользоваться функциями:
- Копировать → для сохранения в буфер обмена содержимого окна;
- Сохранить (Alt+S) → для записи виртуального файла robots.txt в формате текстового документа на ваше устройство;
- Вставить → помещает текст из буфера обмена;
- Очистить → для удаления содержимого всего окна.
Значения, актуальные для прописанного вами виртуального файла, отобразятся в колонках основной таблицы:
- «Код ответа сервера» → если доступ к странице запрещён директивой в robots.txt, к коду ответа сервера прибавляется частица «Disallowed».
- «Разрешён в robots.txt» → отображается значение «TRUE», если доступ к странице разрешён директивой Allow или в файле не содержится инструкций, запрещающих индексировать страницу — в противном случае отображается значение «FALSE».
- «Директива из robots.txt» → показывает, какой именно директивой разрешён или запрещён доступ к странице, а также её порядковый номер в файле. Если такой инструкции нет, то отображается значение «(NULL)».
Чтобы краулер следовал указанным инструкциям, необходимо активировать учёт инструкций в robots.txt на вкладке «Продвинутые» в настройках программы.
Примечание: если опция «Виртуальный robots.txt» отключена, то программа будет следовать инструкциям и отображать их из настоящего файла robots.txt. На результат сканирования будет также влиять выбранный вами User Agent.