Python Multiprocessing на нескольких процессорах, графические процессоры ⇐ Python

[Anonymous]

У меня есть 8 графических процессоров, 64 ядер ЦП (Multiprocessing.cpu_count () = 64) < /p>
Я пытаюсь получить вывод нескольких видеофайлов с помощью модели глубокого обучения. Я хочу, чтобы некоторые файлы обрабатывали на каждом из 8 графических процессоров. Для каждого графического процессора я хочу использовать разные 6 -рекордные ядра.Input1: GPU_id
Input2: Files to process for GPU_id
from torch.multiprocessing import Pool, Process, set_start_method
try:
set_start_method('spawn', force=True)
except RuntimeError:
pass

model = load_model(device='cuda:' + gpu_id)

def pooling_func(file):
preds = []
cap = cv2.VideoCapture(file)
while(cap.isOpened()):
ret, frame = cap.read()
count += 1
if ret == True:
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
pred = model(frame)[0]
preds.append(pred)
else:
break
cap.release()
np.save(file[:-4]+'.npy', preds)

def process_files():

# all files to process on gpu_id
files = np.load(gpu_id + '_files.npy')

# I am hoping to use 6 cores for this gpu_id,
# and a different 6 cores for a different GPU id
pool = Pool(6)

r = list(tqdm(pool.imap(pooling_func, files), total = len(files)))
pool.close()
pool.join()

if __name__ == '__main__':
import multiprocessing
multiprocessing.freeze_support()
process_files()
< /code>
Я надеюсь запустить scure_ {gpu_id} .py файлы на всех графических процессорах одновременно < /p>
В настоящее время я могу успешно запустить его на одном графическом процессоре, 6 ядер, но когда я пытаюсь запустить его на всех грабителях, только GPU 0, все другие останавливаются ниже.RuntimeError: CUDA error: invalid device ordinal.
Скрипт, который я запускаю:
CUDA_VISIBLE_DEVICES=0 inference_0.py

CUDA_VISIBLE_DEVICES=1 inference_1.py

...

CUDA_VISIBLE_DEVICES=7 inference_7.py


Подробнее здесь: https://stackoverflow.com/questions/685 ... -cpus-gpus