Интеграция семантического уровня DBT в LLM [закрыто] ⇐ Python

[Anonymous]

Я работаю над приложением Django, в котором хочу включить возможности запросов на естественном языке с использованием языковой модели OpenAI (LLM), такой как GPT-3. Чтобы структурировать и упростить доступ к базе данных, я планирую использовать семантический уровень DBT (Data Build Tool).
Моя цель — позволить пользователям задавать вопросы на естественном языке, которые затем переводятся. в SQL-запросы через LLM, используя семантические определения, предоставляемые DBT. Эта настройка в идеале должна поддерживать сложные запросы к нескольким таблицам, используя связи и измерения, определенные на семантическом уровне.
Вот краткое описание настройки:
1. Django Application: Serves the frontend and backend, managing user requests.
2. DBT Semantic Layer: Defines the data models, metrics, and relationships.
3. OpenAI LLM (e.g., GPT-3): Used for interpreting natural language inputs and generating SQL queries.
4. PostgreSQL Database: The source of data queried and managed via DBT.

Конкретные вопросы:
1. How should I integrate the DBT semantic layer within the Django app? Should the semantic layer be exposed via an API, or is there a more integrated approach?
2. What are the best practices for using an LLM to generate SQL queries from natural language, especially using the constructs defined in the DBT models? How can I ensure that the queries generated are efficient and secure?
3. Are there any existing libraries or frameworks that facilitate the integration of LLMs with DBT or similar semantic layers? If not, what should be the focus while building this integration?

Будем очень признательны за любые рекомендации, примеры или ресурсы! Мне особенно интересно услышать о похожем опыте или проблемах, с которыми приходится сталкиваться при такой интеграции.
Спасибо!
Я пробовал создавать семантические модели
p>
aggreement.sql
select
Agreement_Type_Code,
Agreement_Name,
Agreement_Original_Inception_Date,
Product_Identifier
from
dbt_cdw_benchmark__seed.agreement

agreement.yaml
semantic_models:
- name: agreement
model: ref('agreement')
entities:
- name: agreement_type_code
type: primary
- name: product_identifier
type: foreign
dimensions:
- name: agreement_name
type: categorical
- name: agreement_original_inception_date
type: time
type_params:
time_granularity: day


Подробнее здесь: https://stackoverflow.com/questions/788 ... yer-to-llm