У меня возникли многочисленные проблемы при настройке и запуске пакетов exllamav2 и nmslib в среде Conda. Ниже приведен подробный отчет о предпринятых мною шагах, настройке
среды и обнаруженных ошибках:
Настройка среды
Creation of Conda Environment:
conda create -n llm python=3.10
Переменные среды и проверка компилятора:
Checked the CUDA_HOME environment variable:
(llm) C:\WINDOWS\system32>echo %CUDA_HOME%
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8
Verified the C/C++ compiler setup:
(llm) C:\Windows\System32>cl
Microsoft (R) C/C++ Optimizing Compiler Version 19.41.34120 for x64
Checked the Ninja build system version:
(llm) C:\Windows\System32>ninja --version
1.12.1
Package Installation
Installation of PyTorch and Related Packages:
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia
Installation of exllamav2:
pip install exllamav2==0.0.8
Attempt to Install nmslib:
Issue: Unable to install nmslib ERROR: Failed to build installable wheels for some pyproject.toml based projects (nmslib)
когда я пытаюсь импортировать exllamav2
Error message:
AttributeError: module 'distutils' has no attribute '_msvccompiler'
когда я повторно запускаю ячейку, вместо этого я получаю эту ошибку
Error message:
ImportError: DLL load failed while importing exllamav2_ext: The specified module could not be found.
Вопросы:
How can I resolve the AttributeError related to distutils and the ImportError for the missing DLL in exllamav2_ext?
What steps should I take to successfully install nmslib in this environment, considering the issues I'm encountering with other installations?
Дополнительная информация:
Operating System: Windows 10
Подробнее здесь: https://stackoverflow.com/questions/790 ... nvironment
