Как получить все данные из API, если я не знаю максимальное количество страниц – Python, запросы ⇐ Python

[Anonymous]

Я получаю данные с помощью API, Python и пакета запросов. Я хочу получить все данные, но мне удалось получить только 4000 строк. Как мне получить все данные? В ответе не указано количество страниц. Я не знаю, сколько строк в данных, но их больше 4000.
Вот рабочий код, который может извлечь 4000 строк, хотя некоторые детали должны оставаться конфиденциальными. :
headers = {
'accept': '*/*',
'Authorization': 'Bearer ',
'Content-Type': 'application/json',
'verify':'/etc/ssl/certs/ca-certificates.crt'
}

data = '{"pageSize": 2000, "pageNumber": 100}' #his is the largest pageSize and pageNumber values that will still return data.

response = requests.post('', headers=headers, verify=True, data=data)


Подробнее здесь: https://stackoverflow.com/questions/791 ... f-pages-py