У меня есть приложение на Python, использующее langchain и Ollama. Локальный запуск работает отлично, потому что на моем компьютере работает клиент Ollama.
Я хочу разместить это приложение на бессерверной платформе (например, GCR) и в для этого мне нужно контейнеризировать приложение. Это легко для Python-стороны приложения, но я изо всех сил пытаюсь правильно понять часть Ollama.
Мне нужно, чтобы клиент Ollama работал, чтобы langchain мог использовать движок, и я не могу понять, как сделать это правильно в файле докеров. Я пробовал многоэтапные сборки, использовал официальный образ докера Ollama и загружал его из исходного кода, и все это приводило к одной и той же проблеме; Я помещаю Ollama в контейнер, но если я затем ЗАПУСКАЮ службу ollama, я больше ничего не могу сделать, так как остальная часть кода ожидает завершения работы сервера Ollama.
Я пробовал используя команду nohup при запуске сервера, но всякий раз, когда я пытаюсь получить модель с помощью ollama pull , он всегда возвращает вопрос, работает ли Ollama. Я добавил к этому ожидание, но оно все равно не работает.
Я пробовал использовать файл docker-compose.yml, но найденный мной пример не сделал того, что мне нужно. Я пробовал использовать многоэтапные сборки в файле docker, чтобы сначала собрать сервер Ollama, а затем использовать его на втором этапе, но это привело к тем же проблемам, что и при одноэтапной сборке.
Я пробовал использовать сценарии запуска и использовать их в качестве точек входа для запуска контейнеров, но в итоге выдавались те же ошибки: Ollama не запускается, и я не могу получить изображения.
Вопросы
- Мой первый вопрос: возможно ли вообще достичь того, что я пытаюсь сделать? Было бы лучше разместить приложение такого типа на виртуальной машине, где я могу установить необходимое программное обеспечение?
- Мой второй вопрос: если возможно, делал ли кто-нибудь что-то подобное, что могло бы пролить свет или дать совет?
Подробнее здесь: https://stackoverflow.com/questions/785 ... pplication
