Проблема с автоматизацией получения данных с веб-страницы (Python, Selenium) [закрыто] ⇐ Python

[Anonymous]

Я создаю приложение, которое анализирует французские глаголы. У меня есть набор данных из более чем 7000 глаголов и их спряжений, и я хочу подтвердить точность по сравнению с спряжениями онлайн-сайтов. Я автоматизировал этот процесс для нескольких сайтов (викисловарь, реверсо и т. д.), используя Python, запросы, селен, но мне не удалось получить доступ к сайту Французской академии.
Чтобы воспроизвести проблему:
Шаг 1: введите https://www.dictionnaire-academie.fr/?search=donner в любой браузер – я использую Firefox – отображается страница с URL-адресом https://www.dictionnaire-academie.fr/article/A9D3041, и оттуда доступны данные глагола.
Шаг 2: выполните тот же запрос search=donner программно из Python с использованием селена, например

Код: Выделить всё

   element = self.driver.find_element
(By.XPATH("//meta[@property='og:url']
[@content]"))
ec = expected_conditions.attribute_matches_regex(element,
'https://dictionnaire-academie.fr/article*')
element = WebDriverWait(self.driver, 15).until(ec)
page_source = self.driver.page_source

Когда я просматриваю HTML-код ответа, я не вижу упоминания о коде статьи «A9D3041», что означает, что я не могу извлечь его и автоматически запросить данные глагола. Данные глагола также не включены в этот ответ.
Когда я выполняю шаг 1, похоже, что сайт возвращает перенаправление (302) с URL-адресом местоположения, включая код статьи, но я этого не делаю. получите это - всего 200
Надеюсь, это описание соответствует критериям сайта.

Подробнее здесь: https://stackoverflow.com/questions/793 ... n-selenium