AutoTokenizer.from_pretrained загружался вечно ⇐ Python

[Anonymous]

Для загрузки специально обученного токенизатора я использовал следующий код:

Код: Выделить всё

from transformers import AutoTokenizer
test_tokenizer = AutoTokenizer.from_pretrained('raptorkwok/cantonese-tokenizer-test')

Загрузка длилась целую вечность. Даже если я заменю AutoTokenizer на PreTrainedTokenizerFast, он все равно будет загружаться вечно.
Как отладить или устранить эту проблему?

Подробнее здесь: https://stackoverflow.com/questions/784 ... er-to-load