Открытие порта 11434 в контейнере Docker для доступа к локальной модели OllamaPython

Программы на Python
Ответить
Anonymous
 Открытие порта 11434 в контейнере Docker для доступа к локальной модели Ollama

Сообщение Anonymous »

Я пытаюсь подключить локальную модель Ollama 2, которая использует порт 11434 на моем локальном компьютере, к моему контейнеру Docker под управлением Linux Ubuntu 22.04. Я могу подтвердить, что модель Олламы определенно работает и доступна через http://localhost:11434/. В моем контейнере Docker я также запускаю службу GmailCTL и смог успешно подключиться к API Google/Gmail для чтения и отправки электронных писем из учетной записи Google. Теперь я хочу дождаться электронного письма и позволить LLM ответить на него отправителю. Однако я не могу опубликовать порт 11434 для подключения модели к контейнеру.
Я попробовал настроить файл devcontainer.json для пересылки портов:

Код: Выделить всё

{ "name": "therapyGary", "build": { "context": "..", "dockerfile": "../Dockerfile" }, "forwardPorts": [80, 8000, 8080, 11434] }
Я попробовал открыть порты в Dockerfile:
EXPOSE 80
EXPOSE 8000
EXPOSE 8080EXPOSE 11434`
Кажется, они добавляют порты в контейнер, и Docker знает о них, но когда я проверяю статус порта для используемого в данный момент образа, я получаю это сообщение:
"Ошибка: для 5ae41009199a не опубликован общедоступный порт "11434"
Я также попробовал настроить файл docker-compose.yaml:

Код: Выделить всё

services: my_service: image: 53794c7c792c # Replace with your actual Docker image name ports: - "11434:11434" - "8000:8000" - "8080:8080" - "80:80"
Но, похоже, с этим есть проблема: любой контейнер с ним автоматически останавливается.
Я попробовал остановить модель Олламы , перед запуском контейнера, чтобы не создавать конфликт, но это тоже не помогло. Любые предложения приветствуются.
Спасибо!
-изменить -- добавить код Dockerfile:
FROM ubuntu:22.04
ENV DEBIAN_FRONTEND=noninteractive
ENV GMAILCTL_VERSION=0.10.1
RUN apt-get update && apt-get install -y

python3

python3-pip

xdotool

curl

software- Properties-common

libreoffice

unzip

&& apt-get clean
RUN pip3 install -- обновить пункт
RUN pip3 install google-api-python-client google-auth-httplib2 google-auth-oauthlib запросы pandas
RUN useradd -ms /bin/bash devuser
RUN mkdir -p /workspace && chown -R devuser:devuser /workspace
Корневой пользователь
WORKDIR /рабочая область
КОПИРОВАТЬ . .
RUN chown -R devuser:devuser /workspace
EXPOSE 80
EXPOSE 8000
EXPOSE 8080
EXPOSE 11434
CMD [ "bash" ]

Подробнее здесь: https://stackoverflow.com/questions/786 ... ocal-model
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»