Включите графический процессор для программирования на Python с помощью VS Code в Windows 10 (llama-cpp-python) ⇐ Python

[Anonymous]

Мне пришлось нелегко при включении графического процессора на моем компьютере под управлением Windows 10 с 32 ГБ памяти и графическим процессором Nvidia P100 с 4 ГБ памяти во время программирования на Python. Мои LLM не использовали графический процессор моей машины при выводе. Потратив на это несколько дней, я подумал, что подведу итог своему пошаговому подходу, который сработал у меня

• Установка дистрибутива C++. Я сделал это с помощью установщика Visual Studio 2022, установил пакеты в разделе «Разработка для настольных компьютеров с помощью C++» и проверил параметр «Windows 10 SDK (10.0.20348.0), как показано на этом изображении (https://i.sstatic.net/vLDy7.png). ). Установите пакеты.
• Загрузите и установите набор инструментов Nvidia CUDA (https://developer.nvidia.com/cuda-downloads)
• Обещайте. эта переменная CUDA_PATH установлена ​​в переменных среды
• В Visual Studio Code установите следующие переменные среды:

Код: Выделить всё

$env:CMAKE_ARGS="-DLLAMA_CUBLAS=on"
$env:CUDACXX="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\nvcc.exe"

• Наконец запустите:

Код: Выделить всё

pip install llama-cpp-python --no-cache-dir --force-reinstall --upgrade

Затем при запуске программы Python вы увидите, что для BLAS установлено значение 1
(https://i.sstatic.net/iKIkV.png)
Надеюсь, это тоже поможет сообществу!!!


Подробнее здесь: https://stackoverflow.com/questions/778 ... cpp-python