Модели Берта показывают статистику токенизации ⇐ Python

[Anonymous]

Есть ли какой-либо встроенный способ запроса статистики токенизации при использовании BertTokenizer.from_pretrained('bert-base-uncased') и BertModel.from_pretrained('bert-base-uncased'), чтобы понять, насколько эффективно обрабатываются мои тексты обрабатывается?
Я использую тексты небольшого размера, но их длина колеблется от 4 до 250 символов, в зависимости от обучающего изображения. Тексты иногда могут содержать странные и непопулярные слова. Боюсь, что из-за таких условий процесс токенизации может оказаться не очень эффективным.
Я ищу способ проверки статистики токенизации при обработке всех моих текстовых изображений.
Я попробовал использовать этот код, который был создан на Github, но внутри него много ошибок, и он не очень словесный:
from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

texts = ["This is a sample text.", "Another text with some uncommon words."]

encoded_texts = tokenizer(texts, return_tensors='pt')

# Vocabulary Coverage
vocab_size = len(tokenizer.vocab)
total_tokens = sum([len(text) for text in encoded_texts['input_ids']])
oov_tokens = sum([1 for token in encoded_texts['input_ids'].flatten() if token not in tokenizer.vocab])
vocab_coverage = 1 - (oov_tokens / total_tokens)

# Average Token Length
token_lengths = [len(text) for text in encoded_texts['input_ids']]
average_token_length = sum(token_lengths) / len(token_lengths)

print(f"Vocabulary Coverage: {vocab_coverage:.2f}")
print(f"Average Token Length: {average_token_length:.2f}")


Подробнее здесь: https://stackoverflow.com/questions/791 ... statistics