Как я могу оптимизировать производительность моего агента Pandas с помощью OpenAI Azure и LangChain? ⇐ Python

[Anonymous]

Я реализовал агент Pandas с использованием OpenAI Azure и LangChain для обработки запросов к набору данных. Однако я сталкиваюсь с проблемами производительности, когда выполнение простого запроса занимает от 8 до 12 секунд. Вот упрощенная версия моей текущей настройки:
import pandas as pd
from time import time
from openai_tools import create_pandas_dataframe_agent

# Data import
csv_dir_path = 'https://raw.githubusercontent.com/datas ... itanic.csv'
df = pd.read_csv(csv_dir_path)

# Creating Pandas Agent
agent_executor = create_pandas_dataframe_agent(
model,
df,
verbose=True,
agent_type="openai-tools",
max_iterations=5
)

def agent_query(question):
time_start = time()
res = agent_executor.invoke({"input": question})
time_finish = time()
print("Query execution time:", time_finish - time_start, "seconds")
return res['output']

# Example query
question = 'whats the percentage of male survivors'
agent_query(question)

Проблемы:
Задержка производительности: выполнение запросов занимает 8–12 секунд, хотя иногда ответ готов раньше.
Попытки решения: Я пробовал регулировать max_iterations без заметного влияния на время ответа. Профилирование предполагает, что задержка может быть связана с загрузкой данных или вызовом модели.
Желаемый результат:
Я хочу улучшить время ответа на запрос. Как я могу повысить эффективность или выявить узкие места?
Вот результат, который я регулярно получаю:
> Entering new AgentExecutor chain...

Invoking: `python_repl_ast` with `{'query': "male_survivors = df[(df['Sex'] == 'male') & (df['Survived'] == 1)].shape[0]\ntotal_males = df[df['Sex'] == 'male'].shape[0]\npercentage_male_survivors = (male_survivors / total_males) * 100\npercentage_male_survivors"}`

18.890814558058924The percentage of male survivors is approximately 18.89%.

> Finished chain.
9.06292200088501


Подробнее здесь: https://stackoverflow.com/questions/786 ... and-langch