У меня есть ежедневный файл, который я хочу обработать с помощью OpenAI API. Это текстовый файл размером примерно 4 МБ и 250 000 строк с именами. Используя TikToken, я мог подсчитать, что каждый файл содержит примерно 1,5 миллиона токенов (модель gpt-3.5-turbo).
Используя ChatGPT, я могу мгновенно загрузить файл и задать нужный вопрос и получить результат.
Однако, чтобы сделать это программно с использованием API, единственный известный мне способ — использовать пакетную обработку, что чрезвычайно медленно. strong> и часто достигает ограничения скорости (сейчас я нахожусь на уровне 1).
Вопрос: есть ли более быстрый способ достичь своей цели? Могу ли я использовать загрузку файла, а затем запросить API, указав идентификатор загруженного файла?
Подробнее здесь: https://stackoverflow.com/questions/786 ... -text-file
