Получение больших наборов данных из SAP HANA с использованием hdbcli в Python выполняется очень медленно. ⇐ Python

[Anonymous]

Я пытаюсь получить данные из базы данных SAP HANA с помощью Python. Я использую библиотеку hdbcli для подключения к HANA и pandas для чтения данных. Основным требованием моего варианта использования является эффективное получение больших наборов данных из SAP HANA с использованием пакетной (частичной) выборки.
Однако получение даже относительно небольшого количества записей происходит очень медленно. Например, получение 10 000 строк занимает более 60 секунд, что кажется необычно большим.
Ниже приведен код, который я использую.

Код: Выделить всё

from hdbcli import dbapi

Код: Выделить всё

import pandas as pd

Код: Выделить всё

connection = dbapi.connect(

Код: Выделить всё

address="

Код: Выделить всё

-----------

[/b]

Код: Выделить всё

",

Код: Выделить всё

port="

Код: Выделить всё

-----------

[/b]

Код: Выделить всё

",

Код: Выделить всё

user="

Код: Выделить всё

-----------

[/b]

Код: Выделить всё

",

Код: Выделить всё

password="

Код: Выделить всё

-----------

[/b]

Код: Выделить всё

"

Код: Выделить всё

)

Код: Выделить всё

cursor = connection.cursor()

Код: Выделить всё

cursor.arraysize = 50000

Код: Выделить всё

query = "SELECT * FROM table_name LIMIT 10000"

Код: Выделить всё

df_iter = pd.read_sql_query(query,conection,chunksize=10000)

Код: Выделить всё

records = []

Код: Выделить всё

for df_chunk in df_iter:

Код: Выделить всё

records.extend(df_chunk.to_dict("records"))

Существуют ли какие-либо рекомендуемые настройки или рекомендации по повышению производительности выборки из SAP HANA в Python?
Будем очень признательны за любые рекомендации и предложения.

Подробнее здесь: https://stackoverflow.com/questions/798 ... -very-slow