Эффективное поддержание контекста чата с помощью GenAI API (GPT, Claude) без повторной отправки всех запросов ⇐ Python

[Anonymous]

Я использую GenAI API (GPT, Claude) для создания диалогового ИИ, который обрабатывает многоходовые диалоги. Моя цель — сохранить контекст разговора, не отправляя повторно все предыдущие запросы при каждом новом запросе, поскольку этот подход быстро становится дорогостоящим из-за использования токенов.
Что я пробовал
В настоящее время я добавляю каждое новое сообщение пользователя и ответы помощника в список и отправляю весь этот список при каждом новом вызове API:

Код: Выделить всё

conversation_history.append({"role": "user", "content": user_message})
response = openai.ChatCompletion.create(model="gpt-3.5-turbo", messages=conversation_history)
conversation_history.append({"role": "assistant", "content": response['choices'][0]['message']['content']})
......

Мой вопрос
Есть ли способ сохранить контекст разговора с API без необходимости повторной отправки всех предыдущих запросов и ответов в каждом запросе ? В идеале я ищу способ сохранить диалоговое состояние на стороне сервера или более эффективный способ управления контекстом.

• Использование GPT или Claude API.
• Основной задачей является минимизация использования токенов для снижения затрат.

Подробнее здесь: https://stackoverflow.com/questions/788 ... out-resend