Невозможно запустить и передать ответы модели олламы через CLI. ⇐ Python

[Anonymous]

Я хочу смоделировать метод, в котором я могу вызвать ollama и передать его ответ в мое приложение Python. Я хочу запускать ollama только через интерфейс командной строки.
Конечная цель — передать его в потоковом режиме и показать передаваемое сообщение в потоке чата.
Почему CLI?
Чтобы иметь интерактивный сеанс оболочки, в котором контекст разговора сохраняется внутри сеанса оболочки, а также иметь тот же поток, что и поведение в терминале.
В настоящее время я запускаю его следующим образом; что дает мне ответ как навсегда (все сразу) - по сравнению с очень меньшим временем при запуске его через терминал (модель запуска ollama: имя "подсказка")

Код: Выделить всё

        try:
result = subprocess.run(
["ollama", "run", model, prompt],
capture_output=True,
text=True,
timeout=120,
encoding="utf-8"
)

if result.returncode == 0:
return result.stdout.strip()

где model — это имя модели олламы, приглашение — это строка


Подробнее здесь: https://stackoverflow.com/questions/798 ... hrough-cli