Как с помощью ScrapingRobot API получить результаты поиска Google в виде структурированных данных JSON? ⇐ Python

[Anonymous]

Как я могу использовать API ScrapingRobot для очистки результатов поиска Google в виде структурированных данных JSON (например, заголовков, URL-адресов, фрагментов) вместо необработанного HTML?
На главной странице веб-сайта показаны три типа "Примера результатов": поисковая выдача, электронная торговля и HTML. Мне нужен формат поисковой выдачи, но что бы я ни делал, я всегда получаю только вывод в формате HTML.
Мой код:

Код: Выделить всё

import requests

TOKEN = "..." // My API token
SEARCH_TERM = "Lionel Messi"

url = f"https://api.scrapingrobot.com/?token={TOKEN}"

payload = {
"url": f"https://www.google.com/search?q={requests.utils.quote(SEARCH_TERM)}",
"module": "HtmlRequestScraper"
}

headers = {
"accept": "application/json",
"content-type": "application/json"
}

response = requests.post(url, json=payload, headers = headers)

if response.status_code == 200:
#print("Success!\n", response.text[:2000])
print("Success!\n", str(response.json())[:2000])

else:
print("Error:", response.status_code, response.text[:2000])

Я тоже пробовал установить модуль": "HtmlChromeScraper", но это не помогло. И, похоже, у него нет других модулей, кроме HtmlChromeScraper и HtmlRequestScraper.
Есть предложения?>