«AssertionError: Torch не скомпилирован с включенным CUDA», несмотря на наличие правильных версий всего ⇐ Linux

[Anonymous]

Я пытаюсь запустить модель с использованием cuda на терминале Linux с виртуальной средой conda. Модель использует device_map = "auto" для назначения устройств следующим образом:

Код: Выделить всё

model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

Проблема возникает, когда код попадает в model.generate(...).to(cuda). Простите, что не предоставляю полный код, но я не могу обещать, что никакая другая часть вообще не будет вмешиваться в cuda или устройство.
Вот что я проверил:
Команда nvdia-smi показывает, что драйвер поддерживает версию до CUDA 12.0.
Команда nvcc --version показывает, что в настоящее время у меня установлена ​​версия CUDA 11.8.
Я загрузил соответствующие пакеты с помощью команды, полученной с https://pytorch.org/, в соответствии с системой.
Однако, когда я запускаю код, он продолжает выдавать AssertionError: Torch не скомпилирован с включенным CUDA .

Код: Выделить всё

torch.cuda.is_available()

также возвращает false.
Я пробовал много других решений, загружал то, что все советовали скачивать, удалял пакеты и переустанавливал их, но безрезультатно. Будем признательны за любые предложения о том, что я мог пропустить.

Подробнее здесь: https://stackoverflow.com/questions/787 ... correct-ve