Почему я получаю конфликтующие зависимости из файла требований при развертывании mwaa? ⇐ Python

[Anonymous]

Я развертываю MWAA с Airflow версии 2.10.1 в частной сети со следующим файлом требований:

Код: Выделить всё

--find-links /usr/local/airflow/plugins
--no-index

pyarrow==14.0.2
filelock==3.15.4
platformdirs==4.2.2
pydantic==2.8.2
virtualenv==20.26.3
distlib==0.3.8
snowflake-connector-python==3.12.1
snowflake-sqlalchemy==1.6.1
astronomer-cosmos==1.7.1
apache-airflow-providers-snowflake==5.7.0

Я понимаю, что стандартно включать файл ограничений, но, поскольку я нахожусь в частной сети, он все равно не найдет стандартный файл ограничений. Я получаю следующую ошибку в файле журнала:

Код: Выделить всё

WARNING: Constraints should be specified for requirements.txt. Please see https://docs.aws.amazon.com/mwaa/latest/userguide/working-dags-dependencies.html#working-dags-dependencies-test-create

Forcing local constraints
Defaulting to user installation because normal site-packages is not writeable
Looking in links: /usr/local/airflow/plugins
ERROR: Cannot install pyarrow==14.0.2 because these package versions have conflicting dependencies.
The conflict is caused by:
The user requested pyarrow==14.0.2
The user requested (constraint) pyarrow==14.0.2
To fix this you could try to:
1. loosen the range of package versions you've specified
2. remove package versions to allow pip to attempt to solve the dependency conflict

Это отлично работает при локальном развертывании с использованием той же папки плагинов, что и aws-mwaa-local-runner, но не работает при развертывании на AWS. Кроме того, в моем файле start.sh ничего нет.
В файле плагинов для pyarrow указано следующее:
pyarrow-14.0.2-cp311-cp311 -manylinux_2_28_x86_64.whl
Есть идеи?

Подробнее здесь: https://stackoverflow.com/questions/791 ... hen-deploy