Вбудована функція «Віртуальний robots.txt» дозволяє протестувати новий або оновлений robots.txt, не змінюючи чинний файл у кореневій директорії сайту, що сканується.
Щоб налаштувати віртуальний robots.txt, необхідно перейти до «Налаштування» → вкладка «Віртуальний robots.txt», відзначити галочкою «Використовувати віртуальний robots.txt», задати свої інструкції та зберегти налаштування, натиснувши «OK».
Щоб розпочати тестування складеного вами віртуального файлу robots.txt, у полі «Початкового URL» на панелі керування введіть адресу сайту та запустіть сканування кнопкою «Старт».
Ви можете скористатися функціями:
- Копіювати → щоб зберегти в буфер обміну вміст вікна;
- Зберегти (Alt+S) → для запису віртуального файлу robots.txt у форматі текстового документа на ваш пристрій;
- Вставити → поміщає текст із буфера обміну;
- Очистити → щоб видалити вміст всього вікна.
Значення, актуальні для прописаного віртуального файлу, відобразяться в колонках основної таблиці:
- «Код відповіді сервера» → якщо доступ до сторінки заборонено директивою в robots.txt, до коду відповіді сервера додається частка Disallowed.
- «Дозволено в robots.txt» → відображається значення «TRUE», якщо доступ до сторінки дозволено директивою Allow або у файлі не міститься інструкцій, що забороняють індексувати сторінку — інакше відображається значення «FALSE».
- «Директива з robots.txt» → показує, якою директивою дозволено або заборонено доступ до сторінки, а також її порядковий номер у файлі. Якщо такої інструкції немає, то з'являється значення «(NULL)».
Щоб краулер дотримувався вказаних інструкцій, необхідно активувати облік інструкцій у robots.txt на вкладці «Просунуті» в налаштуваннях програми.
Примітка : якщо опцію «Віртуальний robots.txt» вимкнено, програма буде дотримуватися вказівок і відображатиме їх з цього файлу robots.txt. На результат сканування також впливатиме обраний вами User Agent.