Правильно ли запускать операцию с привязкой к ЦП с использованием ProcessPoolExecutor в цикле asyncio?Python

Программы на Python
Ответить
Anonymous
 Правильно ли запускать операцию с привязкой к ЦП с использованием ProcessPoolExecutor в цикле asyncio?

Сообщение Anonymous »

Я пытаюсь выполнить операции с привязкой к ЦП в неблокирующем стиле, используя ProcessPoolExector из модуля concurrent.futures и функции asyncio.get_running_loop().
У меня есть работающая функция Операции, связанные с процессором, с полярами под капотом. Вторая функция запускает первую функцию в ProcessPool, используя цикл asyncio. Приведет ли это к ухудшению производительности или функции, реализованные таким образом, будут выполняться в отдельных процессах и все будет в порядке?
def process_zip_file(file: ZipFile):
try:
csv_files = unzip_file(file)
except Exception as e:
raise ZipfileProcessingError("Error unzipping file.")

try:
dataframes = create_dataframes(csv_files) # polars operations under the hood

concat_df = concat_dataframes(dataframes, file.filename)
return concat_df
except Exception as e:
module_logging.error(e)
raise DataframeProcessingErorr("Error processing csv files.")

async def process_zip_file_concurrent(zip_file: ZipFile):
loop = asyncio.get_running_loop()
with ProcessPoolExecutor(max_workers=4) as excecutor:
result = await loop.run_in_executor(excecutor, process_zip_file, zip_file)
return result


Подробнее здесь: https://stackoverflow.com/questions/792 ... -in-asynci
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»