Joblib Parallel в Sagemaker Studio Classic не работает ⇐ Python

[Anonymous]

Я использую тяжелый экземпляр (

Код: Выделить всё

ml.C5.24xlarge

) на AWS Sagemaker и я пытаемся распараллелить цикл.

Код: Выделить всё

results = Parallel(n_jobs=90, backend='multiprocessing', verbose=1)(delayed(process_data)(pair) for pair in data_list[0:10])

Даже при обработке только 10 данных из моего списка данных время выполнения велико. На локальном компьютере это занимает несколько минут.
Кроме того, использование процессора/памяти ядра и экземпляра показано на рисунке ниже.
Как проверить, что распараллеливание работает?



Подробнее здесь: https://stackoverflow.com/questions/790 ... s-not-work