Производительность Pandas to_sql очень медленная ⇐ Python
Производительность Pandas to_sql очень медленная
Я пытаюсь вставить фрейм данных pandas с 200 столбцами на сервер mssql через свой локальный компьютер. Я создаю и использую SQL-соединение, как показано ниже:
engine = sqlalchemy.create_engine("mssql+pyodbc:///?odbc_connect=%s" % params, fast_executemany=True) alchemy_engine = engine.connect() output_df.to_sql(output_tablename,schema='dbo', con = alchemy_engine, if_exists = 'replace', index=False) Но загрузка этих записей занимает слишком много времени. Пробовали добавить размер фрагмента в функцию_sql, но это не ускоряет процесс. В настоящее время загрузка 65 тысяч записей занимает 1,5 часа. Как я могу ускорить этот процесс?
Я пытаюсь вставить фрейм данных pandas с 200 столбцами на сервер mssql через свой локальный компьютер. Я создаю и использую SQL-соединение, как показано ниже:
engine = sqlalchemy.create_engine("mssql+pyodbc:///?odbc_connect=%s" % params, fast_executemany=True) alchemy_engine = engine.connect() output_df.to_sql(output_tablename,schema='dbo', con = alchemy_engine, if_exists = 'replace', index=False) Но загрузка этих записей занимает слишком много времени. Пробовали добавить размер фрагмента в функцию_sql, но это не ускоряет процесс. В настоящее время загрузка 65 тысяч записей занимает 1,5 часа. Как я могу ускорить этот процесс?
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Очень неожиданная производительность fprintf против std::ofstream (fprintf очень медленный)
Anonymous » » в форуме C++ - 0 Ответы
- 84 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Голова скретчик: 2 очень похожие запросы MySQL с очень разными производительность
Anonymous » » в форуме MySql - 0 Ответы
- 23 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Медленная производительность Python Polars при применении pl.element().filter
Anonymous » » в форуме Python - 0 Ответы
- 19 Просмотры
-
Последнее сообщение Anonymous
-