API Python для олламы, работающей на другом узле моей локальной сети ⇐ Python

[Anonymous]

Я пытаюсь написать небольшую тестовую программу Python для подключения к установке Ollama, работающей на ПК с Windows 11 в моей локальной сети. Первоначально я сделал это, чтобы успешно подключиться к Ollama Running на моем локальном компьютере:

Код: Выделить всё

import ollama

response = ollama.chat(
model='llama3.2-vision:11b,
messages=[
{'role': 'user',
'content': 'Describe this image',
'images': ['/Users/pu/Downloads/IMG_3378.jpg']
}
]
)
print("Results from Model (llama3.2-vision:11b):----")
print(response['message']['content'])

Со своего компьютера я могу открыть веб-браузер по адресу http://192.168.0.81:11324 и получить ожидаемую страницу приветствия Олламы. На ПК с Windows конечная переменная OLLAMA_HOST установлена на 0.0.0.0, поэтому любой хост должен иметь возможность подключения, и мой простой тест, кажется, подтверждает это.
На ПК с Windows11 также работает Open-webui, и любой другой ПК и Mac в моей сети могут получить к нему доступ с проблемами.
Компьютер с Windows11 работает под управлением Ryzen9-5950, имеет 64 ГБ ОЗУ и RTX5060 с 16 ГБ видеопамяти — достаточно мощности для работы этой относительно небольшой модели.
Затем я попробовал следующее:

Код: Выделить всё

import ollama
from ollama import Client

client = Client(
host='http://192.168.0.81'
)

response = client.chat(
model='llama3.2-vision:11b',
messages=[
{'role': 'user',
'content': 'Describe this image',
'images': ['/Users/pu/Downloads/IMG_3378.jpg']
}
]
)
print("Results from Model (llama3.2-vision:11b):----")
print(response['message']['content'])

Примерно через 30 секунд я получил тайм-аут локального сценария Python, и хотя обе машины отправляли/получали некоторый сетевой трафик, использование памяти графического процессора Windows осталось прежним; Я не заметил ожидаемого скачка использования VRAM при загрузке модели.
Если кто-нибудь может указать мне дополнительную информацию о том, как подключить программу Python к удаленному серверу Ollama, или сказать мне, что я сделал неправильно, я был бы очень признателен. Если есть какие-либо журналы или средства диагностики, которые я мог бы использовать, чтобы узнать больше о том, что происходит, дайте мне знать.

Подробнее здесь: https://stackoverflow.com/questions/798 ... -of-my-lan