Парсинг веб-страниц со скрытой вкладки на сайте с помощью PythonPython

Программы на Python
Ответить
Anonymous
 Парсинг веб-страниц со скрытой вкладки на сайте с помощью Python

Сообщение Anonymous »

Я использую bs4 и selenium для очистки сайта земельного аукциона (URL https://bid.hertz.ag/ui/auctions/112571/14320874), и у меня возникли проблемы со сбором даты аукциона и ссылок на вложения с на вкладках «BIDS» и «DOCS». Я думаю, это потому, что сайт распознает машину, имитирующую щелчок по вкладке, потому что мой парсер распознает вкладку, на которую нужно щелкнуть, но всегда вылетает, прежде чем успевает это сделать.
Я использовал безголовый браузер, использовал .scrollIntoView() для вкладки, попробовал time.sleep(), чтобы создать впечатление, будто человек ждет, чтобы щелкнуть вкладку, и я не могу понять, как вернуть информацию.
Есть какие-нибудь предложения, как это обойти?

Подробнее здесь: https://stackoverflow.com/questions/791 ... ing-python
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»