Лучший способ считать токены для моделей антропного Клода с использованием API? ⇐ Python

[Anonymous]

Сводка
Как подсчитать количество токенов перед отправкой их в Anthropic?

Содержание вопроса
Я работаю с моделями Claude от Anthropic, и мне нужно точно подсчитывать количество токенов в моих подсказках и ответах. Я использую клиент Python anthropic_bedrock, но недавно наткнулся на альтернативный метод с использованием клиента anthropic. Мне нужен совет о том, какой подход лучше и как правильно реализовать подсчет токенов.
Вот два подхода, которые я нашел:
< h3>Подход 1. Использование клиента anthropic_bedrock

Код: Выделить всё

from anthropic_bedrock import AnthropicBedrock

client = AnthropicBedrock()
prompt = "Hello, world!"
token_count = client.count_tokens(prompt)
print(token_count)

Подход 2: Использование антропного клиента

Код: Выделить всё

import anthropic

client = anthropic.Client()
token_count = client.count_tokens("Sample text")
print(token_count)
< /code>
 мои вопросы: < /h3>

[*] Какой клиент (anthropic_bedrock

или антропический ) лучше для подсчета токенов в подсказках для моделей Claude? Может ли повлиять на выбор? шаги для воспроизведения: < /h3>

Установите соответствующий клиент (

Код: Выделить всё

anthropic_bedrock

или anpropic ) с использованием pip .
[*] Аутентификация клиента с помощью ваших учетных данных AWS.
Используйте count_tokens Метод подсчета токенов в данной подсказке. Ссылки: < /h3>

Ссылка на разброс на их get-help Вопрос < /li>
Документация по счетчикам антропного токена < /li >
Документация API API API < /li>
Использование API антропического API с Python < /li>
< /ul>

Они дают разные выходы! < /p>

Код: Выделить всё

>>> client = AnthropicBedrock()
prompt = "Hello, world!"
token_count = client.count_tokens(prompt)
print(token_count)>>> prompt = "Hello, world!"
>>> token_count = client.count_tokens(prompt)
>>> print(token_count)
4
>>> import anthropic
Traceback (most recent call last):
File "", line 1, in 
ModuleNotFoundError: No module named 'anthropic'
>>>
>>> client = anthropic.Client()
Traceback (most recent call last):
File "", line 1, in 
NameError: name 'anthropic' is not defined
>>>
>>> token_count = client.count_tokens("Sample text")
>>> print(token_count)
2

2 или 4. Какой использовать?


Подробнее здесь: https://stackoverflow.com/questions/787 ... ng-the-api