Обход Cloudflare при использовании Playwright и Headless Chrome ⇐ Python

[Anonymous]

У меня есть простой скрипт, который использует Playwright, Python, Headless Chrome и BeautifulSoup для возврата содержимого страницы. Это работает, если я использую обычные URL-адреса, но всякий раз, когда используется Cloudflare/CAPTCHA, происходит сбой. Я пытался добавить случайное время ожидания, а также использовать Playwright-стелс, добавлять заголовки и т. д., но, похоже, ничего не работает. Существует ли какое-либо обходное решение этой проблемы?
Это мой сценарий:
from playwright.sync_api import sync_playwright
from playwright_stealth import stealth_sync

import time
import random

url = "https://sports.betonline.ag/sportsbook/martial-arts/mma"

try:
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
context = browser.new_context(
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
)
page = context.new_page()
stealth_sync(page)
page.goto(url)
time.sleep(random.uniform(2, 5))
page.wait_for_load_state("networkidle")
time.sleep(random.uniform(1, 3))
page_content = page.content()
browser.close()

from bs4 import BeautifulSoup
soup = BeautifulSoup(page_content, "html.parser")
print(soup.text)

except Exception as e:
print(f"An error occurred: {e}")


Подробнее здесь: https://stackoverflow.com/questions/793 ... ess-chrome