Docker Airflow и виртуальная среда Python ⇐ Python

[Anonymous]

У меня есть Apache Airflow, работающий в среде докера.
У меня есть DAGS, разработанные для разных виртуальных сред Python (разные составы пакетов, разные версии Python).
Каков хороший способ запуска dags в разных виртуальных средах?
Как следует создавать эти среды?
Что я пробовал:
Я пробовал разные способы создания/копирования виртуальной среды так, чтобы он был доступен для воздушного контейнера. Однако процесс был беспорядочным, и у меня ничего не получилось. Например, я попытался войти в контейнер воздушного потока:

Код: Выделить всё

docker exec -it docker-airflow-scheduler-1 bash

когда внутри контейнера я создаю среду:

Код: Выделить всё

python -m venv env_name source env_name/bin/activate

Если я попытаюсь установить пакеты «pip install some_package», я получаю сообщение об ошибке, что не могу выполнить пользовательскую установку ???? Итак, в качестве хака я попытался изменить строку в 'env_name/pyvenv.cfg'
с: include-system-site-packages = false
на: include-system-site-packages = true
Я деактивировал и повторно активировал среду и попытался установить снова

Код: Выделить всё

pip install -r requirements pip list

Но, похоже, я все еще вижу глобальную установку

Подробнее здесь: https://stackoverflow.com/questions/771 ... nvironment