Как получить лучшую производительность для загрузки SQL Server от Python? ⇐ Python

[Anonymous]

Моя цель передачи данных из какого -то стороннего БД, расположенного на удаленном сервере в мой MSSQL DB. Всего около 50 таблиц, как только они хранятся на диске, это требует ~ 3G. В текущей настройке я могу использовать только Python для получения данных из источника, B'Z установки безопасности для данного поставщика. Ниже приведена конструкция псевдода, которую я использую. Проблема, которую TO_SQL Часть загрузки занимает слишком много времени. Я попытался работать с одним df в цикле, отдельный DF1, DF2 ... последовательно, чтобы минимизировать время загрузки. Я могу получить весь источник в df* за 3 минуты (~ 3G), а загрузка занимает 3-4 часа. Там нет никаких индексов PK/. На боковой памяти SQL и использования процессора не превышают 40%, поэтому я думаю, что это не шейка для бутылки.
Есть ли у Python какие -либо другие инструменты /разъемы /метод, чтобы сделать ее быстрее?import pandas as pd
import sqlalchemy
...
df = pd.read_sql('Select * from TxHistory1', engine_mariadb) # source

df.to_sql('TxTarget1', engine_mssql, schema='dbo', if_exists='replace') # target

..


Подробнее здесь: https://stackoverflow.com/questions/796 ... rom-python