Как настроить аутентификацию репозитория pypi для канала артефактов Azure DevOps в databricks.yml для пакетов активов Da ⇐ Python

[Anonymous]

У меня есть python_wheel_task в одном из заданий пакета ресурсов, который выполняет файл whl, создаваемый из моего локального репозитория, из которого я развертываю пакет. Этот процесс сам по себе работает нормально.
Однако Мне нужно добавить собственный файл whl зависимостей (еще один репозиторий, упакованный и опубликованный в моем канале артефактов Azure) для задачу как библиотеку, чтобы whl-файл моего локального репозитория работал полностью.
Я попытался определить ее следующим образом:

Код: Выделить всё

    - task_key: some_task
job_cluster_key: job_cluster
python_wheel_task:
package_name: my_local_package_name
entry_point: my_entrypoint
named_parameters: { "env": "dev" }
libraries:
- pypi:
package: custom_package==1.0.1
repo: https://pkgs.dev.azure.com///_packaging//pypi/simple/
- whl: ../../dist/*.whl  # my local repo's whl: being built as part of the asset-bundle

Когда я развертываю и запускаю пакет, я получаю следующую ошибку в кластере заданий:

Код: Выделить всё

24/07/12 07:49:01 ERROR Utils:
Process List(/bin/su, libraries, -c, bash /local_disk0/.ephemeral_nfs/cluster_libraries/python/python_start_clusterwide.sh
/local_disk0/.ephemeral_nfs/cluster_libraries/python/bin/pip install 'custom_package==3.0.1'
--index-url https://pkgs.dev.azure.com///_packaging//pypi/simple/
--disable-pip-version-check) exited with code 1, and Looking in indexes:
https://pkgs.dev.azure.com///_packaging//pypi/simple/

24/07/12 07:49:01 INFO SharedDriverContext: Failed to attach library
python-pypi;custom_package;;3.0.1;https://pkgs.dev.azure.com///_packaging//pypi/simple/
to Spark

Полагаю, мне нужно где-то настроить токен личного доступа/аутентификацию для канала, но я не могу найти в документации Databricks ничего о зависимостях библиотеки. О добавлении пользовательского индекса есть только одно предложение и ничего об аутентификации.
Как мне заставить это работать?

Подробнее здесь: https://stackoverflow.com/questions/787 ... -feed-in-d