Я пытаюсь реализовать процесс очистки данных в обход Cloudflare в среде OCI, но мне это не удалось. Он работает в моей локальной среде, используя несколько методов, но не работает в облачной среде. Должен ли я предположить, что IP-адреса OCI занесены в черный список Cloudflare?
Если кто-нибудь знает об этом, я буду признателен за ваши советы.
Что я Я пробовал
Спарсить с помощью Python
- nodriver: Module
- drissionpage: Модуль
- flaresolverr: Docker-прокси
Локальная
- Машина: Mac mini с чипом M2
- macOS: Sonoma 14.6.1
Облако - OKE (Oracle Linux, на базе ARM)
- Экземпляр OCI (Oracle Linux, на базе ARM, Ubuntu)
nodriver
- Локально: успешно обходит Cloudflare на Mac.
- Облако: не удается обойти Cloudflare на экземпляре OCI (хотя процесс завершается нормально)
- Локально: успешно обходит Cloudflare на Mac
< li>Облако: не удается обойти Cloudflare на экземпляре OCI (хотя процесс завершается нормально)
- Локальный: успешно обходит Cloudflare, запустив Docker Compose для настройки прокси-контейнера и используя прокси в Python.
- Облако (OKE): не удается обойти Cloudflare с помощью прокси. контейнер, работающий в модуле, и Python с использованием прокси (процесс завершается нормально)
- Облако (экземпляр OCI): не удается обойти Cloudflare с прокси-контейнером, работающим на экземпляре, и Python с использованием прокси ( процесс завершается нормально)
Подробнее здесь: https://stackoverflow.com/questions/790 ... t-scraping