Невозможно получить имена с веб -страницы, используя модуль запросов, несмотря на статус ответа 200 ⇐ Python

[Anonymous]

Я пытаюсь создать сценарий, используя модуль запросов и библиотеку Beautifulsoup, чтобы соскрести названия компаний с этого сайта. Я могу проанализировать данные со страницы целевой страницы, используя метод запроса GET. Однако, когда я нажимаю кнопку «Нажмите», чтобы загрузить больше результатов , я вижу, что выдается запрос на пост вместе с параметрами, но я не могу имитировать это. После запуска этого скрипта я замечаю, что он создает 200 -х код статуса без текста ответа. Как я могу получить имена со следующей страницы? < /P>
import json
import requests
from bs4 import BeautifulSoup

url = 'https://www.comparemortgagebrokers.com.au/wapi/widget'
payload = {
'dc_id': 1,
'header_type': 'html',
'request_type': 'POST',
'currentPage': 2,
'dataType': 10,
'queryString': json.dumps({"sized":0,"mysql_real_escape_string_runned":"1","form":"myform","formname":"member_login","dowiz":1,"save":1,"url_origin_pars":"/search_results"}),
'profId': '',
'servId': 'null',
'countryId': '',
'stateId': '',
'cityId': '',
'levId': '',
'seed': '',
'profsPost': json.dumps({"new_filename":"search_results"}),
'widget_name': 'Add-On - Bootstrap Theme - Search - Lazy Loader'
}

headers = {
'accept': '*/*',
'accept-language': 'en-US,en;q=0.9',
'origin': 'https://www.comparemortgagebrokers.com.au',
'referer': 'https://www.comparemortgagebrokers.com.au/',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36'
}

with requests.Session() as session:
session.headers.update(headers)
res = session.post(url,data=payload)
print(res.status_code)
print(res.text)
soup = BeautifulSoup(res.text,"lxml")
for item in soup.select("span.member-search-full-name"):
print(item.get_text(strip=True))


Подробнее здесь: https://stackoverflow.com/questions/794 ... e-the-resp