Как повысить производительность при обработке больших наборов данных с петлями в Python? [закрыто] ⇐ Python

[Anonymous]

Я работаю с большим набором данных, который я получаю, используя этот код: < /p>
response = await client.get(tenant_url, headers=headers, params=params)
response.raise_for_status()
data = response.json()
numpy_2d_arrays = np.array([[device["id"]["id"], device["name"]] for device in data["data"]])

Чтобы улучшить производительность, я рассматриваю возможность преобразования данных в Polar> Polar DataFrame , прежде чем извлечь идентификатор и имя. Поможет ли это повысить производительность, или есть лучший способ обработки больших наборов данных в циклах? Для обработки случаев, когда API отправляет большое количество данных. Я пытаюсь определить, будут ли Numpy, Polars, Pandas DataFrame или другой инструмент лучше для обработки больших данных. Я был бы признателен со советами от тех, у кого есть опыт решения этой проблемы.{
"data": [
{
"id": {
"entityType": "DEVICE",
"id": "7c4145c0-e533-11ef-9681-df1aaf416822"
},
"name": "C4DEE264E540-002"
},
{
"id": {
"entityType": "DEVICE",
"id": "be7b4b90-b36a-11ed-9188-71dcc7f44f0f"
},
"name": "C4DEE264E540"
},
{
"id": {
"entityType": "DEVICE",
"id": "fbcded60-de0e-11ef-9681-df1aaf416822"
},
"name": "C4DEE264E540-001"
}
],
"totalPages": 1,
"totalElements": 3,
"hasNext": false
}


Подробнее здесь: https://stackoverflow.com/questions/794 ... -in-python