Как получить лучшую производительность для загрузки SQL Server от Python? ⇐ Python

[Anonymous]

Моя цель передачи данных из какого -то стороннего БД, расположенного на удаленном сервере в мою базу данных SQL Server. Всего около 50 таблиц, как только они хранятся на диске, это требует ~ 3G. В текущей настройке я могу использовать только Python для получения данных из источника, B'Z установки безопасности для данного поставщика. Ниже приведена конструкция псевдода, которую я использую. Проблема, которую TO_SQL Часть загрузки занимает слишком много времени. Я попытался работать с одним df в цикле, отдельный DF1, DF2 ... последовательно, чтобы минимизировать время загрузки. Я могу получить все источники в df* за 3 минуты (~ 3G), но нагрузка занимает 3-4 часа. Там нет никаких индексов PK/. На боковой памяти SQL и использования процессора не превышают 40%, поэтому я думаю, что это не шейка для бутылки.
для целевого ingine_mssql < /code> играет с помощью chunk < /code> optoin без какой -либо разницы.
Есть ли у Python другие инструменты /разъемы /метод, чтобы сделать его быстрее?import pandas as pd
import sqlalchemy
...
df = pd.read_sql('Select * from TxHistory1', engine_mariadb) # source

df.to_sql('TxTarget1', engine_mssql, schema='dbo', if_exists='replace') # target

..


Подробнее здесь: https://stackoverflow.com/questions/796 ... rom-python