Использование многопроцессорности для параллельных прогнозов в PyTorch ⇐ Python

[Anonymous]

Я пытаюсь выполнить вывод на большой регрессионной модели с гигабайтами данных для обработки. Я пытался распараллелить цикл прогнозирования, но он не работает должным образом. Это код, который я пытаюсь запустить

def Predict_batch(пакет): пакет_idx, (входные данные) = пакет потери = [] правда = [] предсказано = [] с torch.no_grad(): y_output = модель (текущая, калиброванная) //делаем здесь прогнозы потеря = потеря_fn() общий_лосс = потеря.элемент() потери.append(общая_потеря) // берем выходные данные каждого пакета и превращаем их в два списка: предсказанный и истинный возвратные потери, истинные, прогнозируемые Есть ли у кого-нибудь шаблонный код для этого, который я могу использовать?

Мне это надоело, но это не работает, запуск любого процесса занимает много времени.

РЕДАКТИРОВАТЬ: Вот код распараллеливания
из многопроцессорного пула импорта импортировать tqdm время импорта модель.share_memory() если __name__ == '__main__': с Pool(4) в качестве p: r = список(tqdm.tqdm(p.imap(predict_batch,predict_batch_input), total=len(predict_batch_input)))