Подключение к API Databricks (размещенный LLM при обслуживании моделей) через PATPython

Программы на Python
Anonymous
Подключение к API Databricks (размещенный LLM при обслуживании моделей) через PAT

Сообщение Anonymous »

Я запускаю код в своей локальной среде IDE, который подключается к API Databricks для передачи текста в LLM, размещенный на Databricks. Я использую токены личного доступа, чтобы быстро приступить к работе. Я могу заставить его работать, когда добавляю «все области» в PAT, но это слишком большой доступ, и я хочу предоставить ему правильный доступ для необходимой ему задачи. НО, я не могу понять, какие области действия действительно необходимы.
Дополнительный контекст:
Приложение написано на Python. Он извлекает текст из открытого Интернета, а затем форматирует его. Я хочу использовать LLM для обобщения содержания. Я бы предпочел использовать LLM, размещенный на Databricks, через Databricks API (в отличие, например, от использования OpenAI API или Claude API), потому что я хочу использовать несколько API и оценивать их, что позволяет Databricks.
Некоторые из вещей, которые я пробовал. В Databricks перечислены различные области и их функции.
  • mlflow и обслуживание моделей
  • кластеры, commang-execution, custom-llms, информационные панели, классификация данных, качество данных, среды, файлы, прогнозирование, genie, глобальные сценарии инициализации, пулы экземпляров, профили экземпляров, задания, помощники по знаниям, библиотеки, mlflow, обслуживание моделей, уведомления, конвейеры
  • приложения, кластеры, пользовательские LLMS, классификация данных, файлы, genie, сценарии глобальной инициализации, задания, помощники по знаниям, торговая площадка, mlflow, обслуживание моделей, секреты, sql, каталог Unity, рабочая область
Изначально я использовал OpenAI SDK (как рекомендовано LLM), а затем переключился на Databricks SDK (потому что у меня была мотыга, которая могла бы решить мои проблемы).
В настоящее время мои требования.txt:
  • python-dotenv>=1.0.0
  • openai>=1.0.0
  • databricks-sdk>=0.49.0

Вернуться в «Python»