API ChatGPT – создание более длинного ответа JSON, превышающего лимит токена gpt-3.5-turbo ⇐ Python

[Anonymous]

У меня есть вариант использования ChatGPT API, с которым я не знаю, как справиться.
Я создаю приложение Python, и у меня есть метод, который создает запрос с некоторыми инструкциями и некоторыми данными, которые нужно переписать для ChatGPT. Это выглядит следующим образом (инструкции и данные — это лишь некоторые примеры в этом примере):

Код: Выделить всё

openai.ChatCompletion.create(
model="gpt-3.5-turbo",
temperature=0.6,
messages=[
{
"role": "system",
"content": """
You are journalist who creates title and article content based on
the provided data. You also choose category from list: World,
Technology, Health and create 3 tags for article.
Your response is always just JSON which looks like this example
structure:
{
"title": {{insert created title}},
"category": {{insert category}}
"content": {{insert article content}}
"tags": {{insert tags as list of strings}}
}
"""
},
{
"role": "user",
"content": """
Title and article content to rewrite:
title: {}
content: {}
""".format(title, content)
}
]
)

При условии, что содержимое статьи может быть очень длинным, и если это так и предел модели достигнут, то мой ответ иногда соответствует JSON с очень коротким созданным контентом, а иногда это просто неработающий JSON, потому что контент не был завершен из-за ограничения токена.
Я пытался передать ответ на другой запрос, но предел все еще достигнут.>

Подробнее здесь: https://stackoverflow.com/questions/762 ... token-limi