Ollama.Generate Повышает модель, не найденную ошибку: "hf.co/mradermacher/llama-3.2-3b-instruct-Uncensored-gguf" ⇐ Python

[Anonymous]

Я пытаюсь запустить сценарий Python, который использует библиотеку Ollama для генерации ответов из пользовательской модели LLM. Мой код пытается позвонить в ollama.generate (), используя следующее имя модели: < /p>
chosen_model = 'hf.co/mradermacher/Llama-3.2-3B-Instruct-uncensored-GGUF'

< /code>
def extract_keyword(prompt):
response = ollama.generate(
model=chosen_model,
prompt=f"Identify the product/item in {prompt}. ..."
)
return response.get('response', '').strip()
< /code>
I have ollama installed and running locally, and other standard models work fine.

• Is 'hf.co/mradermacher/Llama-3.2-3B-Instruct-uncensored-GGUF' a valid model name for use with ollama?
• Do I need to pull the model manually using ollama pull or convert it in some way?
• How can I verify the availability or compatibility of a model with ollama?

Error


Any help to resolve this would be appreciated!

Подробнее здесь: https://stackoverflow.com/questions/796 ... a-3-2-3b-i