Параллельное создание изображений фреймов данныхPython

Программы на Python
Ответить
Anonymous
 Параллельное создание изображений фреймов данных

Сообщение Anonymous »

Я использую библиотеку dataframe_image для создания и экспорта изображений фреймов данных.
Когда я пытаюсь запустить их параллельно с помощью ThreadPoolExecutor, это занимает то же время, что и запуск это последовательно. Я не уверен, почему это так и можно ли это исправить.
Попытка параллельного выполнения

Код: Выделить всё

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor, as_completed
import dataframe_image as dfi
import pandas as pd
import time

def export_df(df, title):
dfi.export(
df.style.background_gradient(), f'{title}.png', table_conversion='matplotlib'
)

df1 = pd.DataFrame(np.random.rand (6, 4))
df2 = pd.DataFrame(np.random.rand (6, 4))
df3 = pd.DataFrame(np.random.rand (6, 4))
df4 = pd.DataFrame(np.random.rand (6, 4))

tasks = [
(df1, 'one'),
(df2,'two'),
(df3,'three'),
(df4,'four'),
]

def export_df_wrapper(data, title):
export_df(data, title)

s = time.time()
with ThreadPoolExecutor() as executor:
futures = [executor.submit(export_df_wrapper, *task) for task in tasks]
for future in as_completed(futures):
try:
result = future.result()
except Exception as e:
print(f"Error occurred: {e}")

print(time.time() - s)
Последовательный

Код: Выделить всё

s = time.time()
dfi.export(
df1.style.background_gradient(), f'one.png', table_conversion='matplotlib'
)
dfi.export(
df2.style.background_gradient(), f'two.png', table_conversion='matplotlib'
)
dfi.export(
df3.style.background_gradient(), f'three.png', table_conversion='matplotlib'
)
dfi.export(
df4.style.background_gradient(), f'four.png', table_conversion='matplotlib'
)
print(time.time() - s)
Ссылка на конвертер matplotlib из dataframe_image, который генерирует изображение
https://github.com/dexplo/dataframe_ima ... ame_image/ конвертер/matplotlib_table.py

Подробнее здесь: https://stackoverflow.com/questions/793 ... n-parallel
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»