Как работать с максимальной длиной контекста OpenAI 2049 токенов? ⇐ Python

[Anonymous]

Я хотел бы отправить текст из различных PDF-файлов в API OpenAI. В частности, Summarize для второклассника или API суммирования TL;DR.
Я могу извлечь текст из PDF-файлов с помощью PyMuPDF и подготовить приглашение OpenAI.Вопрос: Как лучше всего подготовить запрос, если количество токенов превышает допустимое 2049?

• Я просто обрезать текст, а затем отправить несколько запросов?
• Или есть способ сэмплировать текст, чтобы «сжать» его и потерять ключевые моменты?

Подробнее здесь: https://stackoverflow.com/questions/700 ... 049-tokens