Llama-cpp-python не использует nvidia gpu cuda ⇐ Python

[Anonymous]

Я играл с oobabooga text-webui на моем Ubuntu 20.04 с моей Nvidia GTX 1060 6 ГБ в течение нескольких недель без проблем. Я использовал модели Llama2-Chat, разделяющие память между моей Ram и Nvidia Vram. Я установил без особых проблем после инструкций в его репозитории. /code> привязки, чтобы поиграть с ним сами. Таким образом, используя ту же среду Miniconda3, которую использует oobabooga text-generation-webui, я запустил ноутбук Юпитера, и я мог сделать выводы, и все работает хорошо , но только для ЦП .
< P> Рабочий пример Bellow, < /p>
from llama_cpp import Llama

llm = Llama(model_path="/mnt/LxData/llama.cpp/models/meta-llama2/llama-2-7b-chat/ggml-model-q4_0.bin",
n_gpu_layers=32, n_threads=6, n_ctx=3584, n_batch=521, verbose=True),

prompt = """[INST]
Name the planets in the solar system?

[/INST]
"""
output = llm(prompt, max_tokens=350, echo=True)
print(output['choices'][0]['text'].split('[/INST]')[-1])
< /code>

Конечно! Вот восемь планет в нашей солнечной системе, перечисленные по порядку от ближайшего до самого дальнего от солнца: < /p>

Меркурий < /li>
Венера < /li>
Земля < /li>
Марс < /li>
jupiter < /li>
Сатурн < /li>
uranus < /li>
neptune < /li>
< /ol>
< /blockquote>

Обратите внимание, что Плутон ранее считался планетой, но теперь классифицируется как карликовая планета из -за ее небольшого размера и уникальной орбиты. < /p>
< /blockquote>
< P> Я также хочу сделать вывод с помощью графического процессора. Что не так? ?

Подробнее здесь: https://stackoverflow.com/questions/769 ... a-gpu-cuda