Очистка поиска Google возвращает статус 200, но никаких результатов, только скрытый HTML-div ⇐ Python

[Anonymous]

Я собирал результаты поиска Google с помощью Python, но со вчерашнего дня столкнулся с проблемой. Когда я отправляю запрос, он возвращает код состояния 200, но вместо результатов поиска ответ содержит скрытый HTML-элемент div, например:

Код: Выделить всё

Желаемое поведение: я ожидаю, что ответ будет включать фактические результаты поиска в структурированном формате (например, JSON или HTML с результатами).
Проблема: Кажется, Google улучшил свои механизмы обнаружения ботов, и я больше не получаю обычные результаты поиска, а только этот фрагмент HTML.
Что я пробовал: я использую большой прокси-пула, чтобы избежать обнаружения, но это не решило проблему проблема.
Минимальный код для воспроизведения:

Код: Выделить всё

import requests

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

url = 'https://www.google.com/search?q=example'

response = requests.get(url, headers=headers)
print(response.text)

Кто-нибудь сталкивался с этим раньше и нашел способ обойти это? Любая помощь будет оценена по достоинству!


Подробнее здесь: https://stackoverflow.com/questions/793 ... den-html-d