Как собрать и установить llama-cpp-python с поддержкой BLAS (GGML_BLAS=ON) на WSL (Ubuntu)? ⇐ Python

[Anonymous]

Я пытаюсь установить версию llama-cpp-python с поддержкой BLAS на WSL, чтобы библиотека GGML использовала OpenBLAS. Я попытался выполнить два разных вызова pip install с помощью CMAKE_ARGS, но модуль импортируется без какого-либо видимого подтверждения BLAS, и я не уверен, действительно ли BLAS включен.
Я использовал определенные команды

Код: Выделить всё

# Try 1: request OpenBLAS vendor explicitly
CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" \
pip install llama-cpp-python --force-reinstall --no-cache-dir

# Try 2: request BLAS with parallel build
CMAKE_ARGS="-DGGML_BLAS=ON -DCMAKE_BUILD_PARALLEL_LEVEL=2" \
pip install llama-cpp-python --force-reinstall --no-cache-dir

# Verify import
python3 -c "from llama_cpp import Llama; print('Import successful - llama-cpp-python installed')"

Но нет сообщения, подтверждающего, что GGML был создан с использованием BLAS/OpenBLAS, и я не вижу никаких доказательств того, что BLAS используется во время выполнения. Я не могу сказать, действительно ли сборка использовала OpenBLAS или она вернулась к скалярной реализации.
Что я хочу знать

• Каковы точные шаги по сборке llama-cpp-python с включенным GGML BLAS на WSL, чтобы он фактически связывался с OpenBLAS?
• Что пакеты, которые мне следует установить в дистрибутив WSL (например, libopenblas-dev, build-essential, cmake и т. д.) перед запуском pip install?
• Как я могу подтвердить после установки, что llama-cpp-python / GGML использует BLAS (т. е. команду или метод для проверки во время выполнения или во время сборки)?
• Если CMAKE_ARGS — правильный подход, какие именно значения CMAKE_ARGS требуются в WSL? Какие переменные среды или флаги pip мне следует использовать?

Подробнее здесь: https://stackoverflow.com/questions/798 ... -on-on-wsl