ПРОКСИ ПОД ЗАДАЧУ
Прокси для парсинга
Сайты ограничивают число запросов с одного IP. Пул прокси распределяет нагрузку, и парсер не упирается в капчу и баны.
Для большинства задач хватает пула серверных IPv4: они быстрые, стабильные и недорогие. Число адресов считайте от лимита сайта: если он пропускает 300 запросов в час с IP, а вам нужно 3000, понадобится около 10 адресов.
IPv6 — самый дешёвый способ получить много адресов, но работает он только с сайтами, которые поддерживают IPv6. Проверьте это до покупки.
Если сайт жёстко режет датацентры, переходите на резидентские прокси: новый IP на каждый запрос и оплата только за трафик.
Какие прокси выбрать
Советы
- Делайте паузы между запросами и меняйте User-Agent.
- Повторяйте запрос через другой прокси при ответе 429 или капче.
- Логируйте, какие IP получают отказы, и выводите их из ротации.
Частые вопросы
HTTP или SOCKS5 для парсера?
Для HTTP-запросов достаточно HTTP. SOCKS5 нужен, если библиотека или протокол требуют именно его.