Как повысить производительность spark.write для jdbc? ⇐ Python

[Anonymous]

Меня беспокоит одна вещь. У меня есть CSV размером 700 МБ, который содержит более 6 миллионов строк. После фильтрации он содержит ~3 миллиона.
Мне нужно записать его прямо в Azure sql через jdbc. Это очень медленно, и для ввода 3 миллионов строк требуется 20 минут.
Мой кластер имеет 14 ГБ оперативной памяти и 4 ядра. Вот мой код.

Код: Выделить всё

(clearedDF.repartition(4)
.write
.format("jdbc")
.option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")
.option("batchsize", 10000)
.option("url", jdbcUrl)
.option("dbtable", "dbo.weather")
.option("user", properties["user"])
.option("password", properties["password"])
.mode("append")
.save()
)

Можно ли как-нибудь ускорить этот процесс?

Подробнее здесь: https://stackoverflow.com/questions/689 ... e-for-jdbc