Парсинг веб-страниц с помощью Selenium [дубликат] ⇐ Python

[Anonymous]

Я пытаюсь написать скрипт на Python, который использует селен для получения некоторой информации с этого сайта. Похоже, Cloudfare блокирует скрипт, потому что это бот. Здесь я публикую часть кода:

Код: Выделить всё

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.wait import WebDriverWait

options = webdriver.ChromeOptions()
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_argument("--incognito")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option("useAutomationExtension", False)
prefs = {"profile.managed_default_content_settings.images": 2,
"profile.default_content_setting_values.notifications": 2
}

options.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(options=options)

driver.get("https://worldwide.espacenet.com/")
advanced_search = WebDriverWait(driver, 10).until( lambda x: x.find_element(By.XPATH, "/html/body/div/div/nav/ul/li[5]/label/span")) #toggle to be triggered to enter in advanced search mode
advanced_search.click()

Cloudfare мгновенно блокирует страницу и просит пользователя подтвердить, что он человек. Есть ли какие-нибудь способы заставить веб-сайт думать, что он взаимодействует с реальным пользователем, или какие-то опции, которые можно добавить непосредственно в веб-драйвер селена?
Я также пытался добавить скрипт, который перемещает мышь случайным образом. в окне
РЕДАКТИРОВАТЬ: я хочу использовать библиотеку под лицензией MIT или Apache, поэтому я не могу использовать undetected_chromedriver, даже если она работает хорошо. Спасибо

Подробнее здесь: https://stackoverflow.com/questions/791 ... h-selenium