Llama-cpp-python не использует nvidia gpu cuda ⇐ Python

[Anonymous]

Я играл с oobabooga text-webui на моем Ubuntu 20.04 с моей Nvidia GTX 1060 6 ГБ в течение нескольких недель без проблем. Я использовал модели Llama2-Chat, разделяющие память между моей Ram и Nvidia Vram. Я установил без особых проблем после инструкций в его репозитории. Таким образом, используя ту же среду Miniconda3, которую использует oobabooga text-generation-webui, я запустил ноутбук Юпитера, и я мог сделать выводы, и все работает хорошо , но только для процессора .from llama_cpp import Llama

llm = Llama(model_path="/mnt/LxData/llama.cpp/models/meta-llama2/llama-2-7b-chat/ggml-model-q4_0.bin",
n_gpu_layers=32, n_threads=6, n_ctx=3584, n_batch=521, verbose=True),

prompt = """[INST]
Name the planets in the solar system?

[/INST]
"""
output = llm(prompt, max_tokens=350, echo=True)
print(output['choices'][0]['text'].split('[/INST]')[-1])
< /code>

Конечно! Here are the eight planets in our solar system, listed in order from closest to farthest from the Sun:

[*]Mercury
[*]Venus
[*]Earth
[*]Mars
[*]Jupiter
[*]Saturn
uranus < /li>
neptune < /li>
< /ol>
< /blockquote>

Обратите внимание, что Pluto ранее считался планетой, но теперь классифицируется как Dwarf Planet из -за его небольшого размера и уникальной или уникальной или уникальной. Чтобы сделать вывод с помощью графического процессора. Что не так?>

Подробнее здесь: https://stackoverflow.com/questions/769 ... a-gpu-cuda