Я пытаюсь реализовать процесс очистки данных в обход Cloudflare в среде OCI, но мне это не удалось. Он работает в моей локальной среде, используя несколько методов, но не работает в облачной среде. Должен ли я предположить, что IP-адреса OCI занесены в черный список Cloudflare??
Если кто-нибудь знает об этом, я буду признателен за ваши советы.
Что я могу сделать? Пробовал
спарсить с помощью Python
- nodriver: Module
- drissionpage : Модуль
- flaresolverr: Docker proxy
Локальная< /h3>
- Машина: Mac mini с чипом M2
- macOS: Sonoma 14.6.1
< /ul>
Облако - OKE (Oracle Linux, на базе ARM)
- OCI Экземпляр (Oracle Linux, на базе ARM, Ubuntu)
nodriver
- Локально: успешно обходит Cloudflare на Mac
- Облако: не удается обойти экземпляр Cloudflare на OCI (хотя процесс завершается нормально)
- Локально: успешно обходит Cloudflare на Mac
- Облако: не удается обойти Cloudflare на экземпляре OCI (хотя процесс завершается нормально)
- Локально: успешно обходит Cloudflare, запустив Docker Compose для настройки прокси-контейнера и используя прокси в Python.
- Облако (OKE): не удается обойти Cloudflare с помощью прокси-контейнер, работающий на модуле, и Python, использующий прокси (процесс завершается нормально).
- Облако (экземпляр OCI): не удается обойти Cloudflare с прокси-контейнером, работающим на экземпляре, и Python, использующим прокси. (процесс завершается нормально)
Подробнее здесь: https://stackoverflow.com/questions/790 ... t-scraping