Проксі – це проміжний сервер між пристроєм користувача та цільовим сервером (сайтом). Проксі дозволяє змінити IP-адресу користувача для:
- перевірки «поведінки» сайту під час відвідування з різних локацій;
- обходу заборони масового надсилання запитів серверу або пошуковій системі з однієї IP-адреси;
- імітації мережного трафіку для тестування сервера сайту у розробці. У цьому випадку рекомендується використовувати приватні проксі-сервери;
- для прискорення сканування вебсайту краулером.
Netpeak Spider дозволяє задати проксі різними способами:
1. Способи додавання проксі
Вікно налаштувань проксі Netpeak Spider відкривається через «Налаштування» в головному меню. На вкладці позначте пункт «Використовувати список HTTP проксі», щоб активувати контроль над списком проксі.
-
- Вручну натиснувши «Додати вручну» у правій частині вікна, або за допомогою Ctrl+D. Відкриється додаткове вікно, в якому вам потрібно буде ввести список проксі-серверів. Кожен проксі має починатися з нового рядка.
-
Формат введення: Хост:Порт або Хост:Порт:Логін:Пароль
- Через таблицю. Для цього натисніть кнопку «Додати новий рядок» або скористайтеся Ctrl+N.
Важливо, що:
- Єдиний підтримуваний формат IP-адреси проксі - IPv4;
- За замовчуванням поле "Порт" містить значення 80;
- Код відповіді відображає код та опис стану проксі. Отже, працездатність проксі-серверів можна оцінити за відповідним кодом. Найбільш поширені коди та їх значення:
- 200 OK – означає, що проксі має доступ до запитуваного ресурсу;
- 403 Forbidden – немає доступу до проксі, і авторизація не здатна змінити положення;
- 407 Proxy Authentication Required – проксі запитує автентифікацію, або введені логін та пароль некоректні.
- «Час відповіді сервера» відображає тривалість відгуку сервісу, що перевіряється через проксі.
- Усі стовпці ви можете міняти місцями так, як вам зручно.
Незалежно від обраного способу додавання проксі, ви можете вставити їх списком з буфера обміну:
- через контекстне меню,
- комбінацією клавіш Ctrl+С → Ctrl+V,
- за допомогою кнопки «Вставити» у правій частині вікна налаштувань.
-
2. Робота з проксі в Netpeak Spider
Працездатність проксі перевіряється автоматично після вставки, але якщо вам потрібно його перевірити ще раз, скористайтеся функцією «Перевірити» і оберіть з випадаючого списку тип перевірки:
- Доступ до Інтернету;
- Google;
- Bing;
- Yahoo;
- Яндекс.
-
Якщо потрібно припинити перевірку, натисніть кнопку «Зупинити».
Зручно працювати з видаленням: ви можете видалити всі проксі, обрані або неробочі. Для цього скористайтеся кнопкою «Видалити» і виберіть один із варіантів, що випадають.
Під час сканування за допомогою списку проксі запити до сканованого сайту будуть надсилатися з різних IP-адрес. Черговість використання проксі залежить від кількості заданих потоків на вкладці «Основні», таким чином, якщо заданий один потік, кожен запит буде відправлятися по черзі з наступного за списком проксі. При досягненні кінця списку цикл розпочнеться спочатку. Якщо використовується кілька потоків, кілька запитів буде відправлятися з різних проксі одночасно за одиницю часу.
Ми рекомендуємо вам використовувати платні проксі-сервери, тому що вони мають ряд переваг:
- Можливість самостійно обирати характеристики (швидкість, час відповіді сервера, анонімність тощо);
- Істотно менша можливість отримання бану від сайтів;
- Можливість обрати один потрібний регіон і не боятися, що проксі скоро «помре»;
- У разі несправностей завжди можна звернутися до технічної служби.