Наша команда развернула сценарий Python в Azure Machine Learning (AML) для обработки файлов, хранящихся в учетной записи хранения Azure.
Наш конвейер состоит из Действие ForEach, которое вызывает сценарий Python для каждого или перечисленных файлов. Запуск его из фабрики данных Azure (ADF) запускает несколько отдельных конвейеров, которые работают параллельно. Я не использую выражение параллельно, поскольку не уверен, как эти отдельные задания распределяются по разным виртуальным ЦП.
В дополнение к «распараллеливанию», управляемому AML, имеет ли смысл распараллеливать обработку на уровне Python с помощью модуля Python multiprocessing?
Я попробовал использовать следующий подход, но получилось не сокращает общее время обработки.
from multiprocessing import Process
from multiprocessing import Pool
[...]
mp_processes = 2
if mp_processes is True :
p = Pool(int(mp_processes))
output1, output2 = zip(*p.map(process, process_queue))
[...]
Подробнее здесь: https://stackoverflow.com/questions/787 ... ng-code-on
