Как сбросить графический процессор CUDA в Python ⇐ Python

[Anonymous]

Есть ли способ перезапустить графический процессор CUDA в Python? или выпустить его, чтобы другой скрипт мог получить к нему доступ?

Иногда я получаю ошибку при использовании графического процессора в Python, и единственное решение - снова получить доступ к графическому процессору это перезапустить мой ноутбук Jupyter.

PS: Я использую графический процессор для некоторых вычислений с использованием pytorch.

конкретная ошибка, которую я получаю:

Код: Выделить всё

RuntimeError: CUDA error: device-side assert triggered

Я видел https://towardsdatascience.com/cuda-err ... ae1c8fa4c3 и многих других, обсуждающих эту проблему. Моя основная проблема — как продолжить использование сеанса графического процессора без перезапуска ядра Jupyter.

т.е. Я хотел бы отловить эту ошибку, которую я делаю с помощью попытки/исключения, и двигаться дальше, поскольку я обучаю несколько моделей одну за другой, поэтому я не могу перезапустить, чтобы решить свою проблему.

EDIT перезапуск ядра кажется общепринятым наивным решением, см.:

-https://forums.fast.ai/t/ как-освободить-gpu-memory-in-pytorch-0-2-x/9256/2
-https://towardsdatascience.com/cuda-err ... triggered- c6ae1c8fa4c3, где она упоминает: «Работаете над Kaggle? Вот почему даже после выполнения вышеуказанных шагов вы все еще испытываете трудности»

Подробнее здесь: https://stackoverflow.com/questions/618 ... -in-python