Ошибка CUDA из-за нехватки памяти в приложении Python Mistral ⇐ Python

[Anonymous]

У меня есть приложение вопросов и ответов Mistral и ChromaDB, размещенное в экземпляре AWS EC2 g5.2xlarge. Раньше я закрывал приложение Python, не удаляя переменную llm, чтобы освободить память CUDA. Даже когда я перезагружаю свой экземпляр EC2, я сталкиваюсь с этой проблемой. Я пробовал
torch.cuda.empty_cache()
gc.collect()
, но не помогло. Когда я пытаюсь выполнить полную перезагрузку в терминале с помощью
nvidia-smi --gpu-reset
, появляется ошибка «Недостаточно разрешений». Следующий код показывает, как я создаю экземпляр своего LLM

Код: Выделить всё

            hf_pipeline = pipeline(
task="text-generation",
model = "mistralai/Mistral-7B-Instruct-v0.1",
tokenizer = tokenizer,
trust_remote_code = True,
max_new_tokens=1000,
model_kwargs={
"device_map": "auto",
"load_in_4bit": True,
"max_length": 512,
"temperature": 0.01,
"do_sample": True,
"torch_dtype":torch.bfloat16,
}
)

Каково решение проблемы нехватки памяти CUDA?

Подробнее здесь: https://stackoverflow.com/questions/781 ... pplication