Драматург/селен не может обнаружить видимые угловые элементы (Div.materia) - Официальная газетя (Бразильская правительст ⇐ Python

[Anonymous]

Я пытаюсь автоматизировать извлечение публикаций из бразильской правительственной газеты (диарио, а также, в частности, из раздела 1:
https://www.in.gov.br/leiturajornal?sec ... 5555555555. Посещая эту страницу вручную в браузере, все предметы (Div.materia) полностью видны и загружаются мгновенно. Однако при использовании инструментов автоматизации, таких как Playwright, Selenium или Requests-HTML, ни один из этих элементов не обнаруживается-даже после долгого ожидания и с полной визуализацией страницы. /> < /ol>
Единственный видимый запрос - это /теги /getTags, которая возвращает только метаданные, такие как {"do1e": true}. < /p>
при переключении страниц с помощью пользовательского интерфейса страгивания не вызывают новых запросов < /ol. start = "2">
selenium (без головы и без головы)
Я использовал Webdriverwait с by.class_name = "Materia" → Всегда раздается. start = "3">
запросы html
r.html.render () не удастся из-за недоступного хрома (выпуск загрузки). < /li>
< /ol>
Даже при исправлении, он не будет доступа к динамическому угловато-разницу. загружается нормально. < /li>
< /ol>
trable page.wait_for_selector ("div.materia"), query_selector_all () и eval_on_selector_all () → всегда возвращает пустой список. Effect. < /p>
Пробое как без головы, так и головы. не появляется в глобальном DOM при программном обращении. MutationObserver, или какой -то трюк Waitforfunction)?

Подробнее здесь: https://stackoverflow.com/questions/796 ... i%c3%a1rio