Накладные расходы на память при использовании разъемов SQL/Snowflake ⇐ Python

[Anonymous]

Я пытаюсь загрузить SQL -запрос, пытаясь извлечь данные из базы данных снежинки в DataFrame (на самом деле TORCH TENSOR, но преобразование происходит позже). < /p>
Я не могу поделиться запросом, но обратите внимание на следующее: < /p>

. Таким образом, 385 миллионов x 12 байт = 4,6 ГБ приблизительно. Это подтверждается в графическом интерфейсе снежинки, где мы видим, что размер результата еще меньше (из -за сжатия), и запрос, запускаемый за «только» 40 секунд. Кажется, это происходит в операторе чтения/выбранной. Более того, для извлечения запроса требуется более 40 минут, в то время как в истории запросов снежинок мы видим, что запрос завершен в «ожидаемых» 40 секунд. После того, как он загружается, мы можем убедиться, что полученный в результате DataFrame имеет ожидаемый размер. Мы попытались использовать Malloc, но, похоже, не обнаруживает, откуда исходит накладные расходы на память.import pandas as pd
from sqlalchemy import Engine, text

def load_data(date: date, engine: Engine) -> pd.DataFrame:
"""Load all data and case_ids."""
query = text(my query) # dependent on date

with engine.connect() as connection:
df = pd.read_sql_query(query, con=connection)
return df
< /code>
Попытка кода 2: разъем снежинки < /p>
import pandas as pd
import snowflake
def load_data(date : date) -> pd.DataFrame:
query = my query
with snowflake.connector.connect(**credentials) as conn:
with conn.cursor() as cur:
rows = cur.execute(query).fetchall()
# Convert rows to df
return df


Подробнее здесь: https://stackoverflow.com/questions/796 ... connectors