Ошибки загрузчика модели в веб-интерфейсе Text Gen` ⇐ Python

[Anonymous]

Я пробовал загрузить несколько моделей из HuggingFace с помощью веб-интерфейса Text Gen, но независимо от модели или загрузчика я получаю одну и ту же ошибку «ModuleNotFoundError» для загрузчиков.
Важно, Я использую Intel i7, а не графический процессор, но в прошлом мне удавалось запускать модели меньшего размера, используя различные инструменты пользовательского интерфейса.
Шаги, которые я выполнил:

• Создание клонированного текста из Git. Создана новая среда в Anaconda.Navigator.
• С помощью кода Visual Studio открыт веб-интерфейс создания текста.
• Я выбрал Python среды в качестве интерпретатора Python.
• Выбрал для активации соответствующей среды conda и установил файл требования.txt для веб-интерфейса создания текста. li>
  Запустил приложение с помощью файла one_click.py, который входит в состав веб-интерфейса создания текста.

После того, как не удалось получить модель для загрузки, я пробовал много вещей:

• Переустановка пакетов pip.
• Установка другой версии torch : pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
• Удаление среды и запуск заново.
• Задаем ChatGPT и CoPilot миллион вопросов.

Одни и те же ошибки появляются снова и снова. Это сводит меня с ума!
Примеры (каждый из них установлен в правильной среде):

ModuleNotFoundError: не удалось импортировать «autogptq». Установите его
вручную, следуя инструкциям в репозитории AutoGPTQ GitHub.
ModuleNotFoundError: нет модуля с именем «exllamav2».
OSError: ошибка. в каталоге
models\meta-llama_Llama-3.2-1B не найден файл с именем pytorch_model.bin, model.safetensors,
tf_model.h5, model.ckpt.index или flax_model.msgpack.

Подробнее здесь: https://stackoverflow.com/questions/790 ... gen-web-ui