Они предоставляют параметры max_tokens и stop для управления длина сгенерированной последовательности. Поэтому генерация прекращается либо при получении токена остановки, либо при достижении max_tokens.
Проблема в том, что при создании текста я не знаю, сколько токенов соответствует моему запросу. содержит. Поскольку я этого не знаю, я не могу установить max_tokens = 2049 - Number_tokens_in_prompt.
Это не позволяет мне динамически генерировать текст для широкого диапазона текстов с точки зрения их длины. Мне нужно продолжать генерировать токен до остановки.
Мои вопросы:
- Как я могу посчитать количество токенов в API Python, чтобы я соответствующим образом установил параметр max_tokens?
- Есть ли способ установить для max_tokens максимальное значение, чтобы я выиграл' Не нужно подсчитывать количество жетонов подсказок?
Подробнее здесь: https://stackoverflow.com/questions/758 ... pi-request
