Лучший способ подсчитать токены для моделей Anthropic Claude с помощью API? ⇐ Python

[Anonymous]

Сводка
Как подсчитать количество токенов перед отправкой их в Anthropic?

Содержание вопроса
Я работаю с моделями Claude от Anthropic, и мне нужно точно подсчитывать количество токенов в моих подсказках и ответах. Я использую клиент Python anthropic_bedrock, но недавно наткнулся на альтернативный метод с использованием клиента anthropic. Мне нужен совет о том, какой подход лучше и как правильно реализовать подсчет токенов.
Вот два подхода, которые я нашел:
< h3>Подход 1. Использование клиента anthropic_bedrock

Код: Выделить всё

from anthropic_bedrock import AnthropicBedrock

client = AnthropicBedrock()
prompt = "Hello, world!"
token_count = client.count_tokens(prompt)
print(token_count)

Подход 2. Использование антропного клиента

Код: Выделить всё

import anthropic

client = anthropic.Client()
token_count = client.count_tokens("Sample text")
print(token_count)

Мои вопросы:

• Какой клиент (

  Код: Выделить всё

  anthropic_bedrock

  или антропный) лучше подходит для подсчета токенов в подсказках для моделей Claude?
• Существуют ли какие-либо существенные различия в том, как эти клиенты обрабатывают подсчет токенов или любые другие функции, которые может повлиять на выбор?
• Существуют ли передовые методы, которым мне следует следовать при подсчете токенов и управлении их использованием в моих приложениях?

Шаги по воспроизведению:

• Установите соответствующий клиент (

  Код: Выделить всё

  anthropic_bedrock

  или антропный) с помощью pip.
• Аутентифицируйте клиента с помощью своих учетных данных AWS.
• Используйте count_tokens для подсчета токенов в заданном приглашении.
• Распечатайте или запишите количество токенов для анализа.

Ссылки:

• ссылка Discord на ответ на вопрос.
• документация счетчика антропных токенов.
  Документация по Anthropic API
• Использование Anthropic API с Python

Они дают разные результаты!

Код: Выделить всё

>>> client = AnthropicBedrock()
prompt = "Hello, world!"
token_count = client.count_tokens(prompt)
print(token_count)>>> prompt = "Hello, world!"
>>> token_count = client.count_tokens(prompt)
>>> print(token_count)
4
>>> import anthropic
Traceback (most recent call last):
File "", line 1, in 
ModuleNotFoundError: No module named 'anthropic'
>>>
>>> client = anthropic.Client()
Traceback (most recent call last):
File "", line 1, in 
NameError: name 'anthropic' is not defined
>>>
>>> token_count = client.count_tokens("Sample text")
>>> print(token_count)
2

2 или 4. Какой использовать?

Подробнее здесь: https://stackoverflow.com/questions/787 ... ng-the-api