Как я могу загрузить предварительную модель трансформаторов, которая была загружена вручную? ⇐ Python

[Anonymous]

Я не могу загрузить модели Huggingface через функции Python из -за ошибок сертификата SSL. Возможно, это связано с брандмауэром моей компании. Я пытаюсь загрузить эту модель с диска, используя tfpretraindmodel.from_pretraind () и autotokenizer.from_pretraind () . Из документов кажется, что это действительный вариант.
Я получаю сообщение об ошибке, которое не полезное атрибут: «nonetype 'объект не имеет атрибута' from_pretrain '. Цените любую помощь!
Пример репо:
https://huggingface.co/cardiffnlp/twitt ... atest/tree /main
code

Код: Выделить всё

from transformers import pipeline, TFPreTrainedModel, AutoTokenizer
import os

dir = "./models/twitter-roberta-base-sentiment-latest/"
print(os.listdir(dir)) # confirm the folder contents

model = TFPreTrainedModel.from_pretrained(dir)
tokenizer = AutoTokenizer.from_pretrained(dir)

analyze = pipeline(task="sentiment-analyis", model=model, tokenizer=tokenizer)
print(analyze("this is good"))
print(analyze("this is bad"))

output

Код: Выделить всё

2025-02-21 16:40:05.896448: I tensorflow/core/util/port.cc:113] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
2025-02-21 16:40:06.653841: I tensorflow/core/util/port.cc:113] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
WARNING:tensorflow:From C:\Users\xxxxx\.pyenv\pyenv-win\versions\3.12.8\Lib\site-packages\tf_keras\src\losses.py:2976: The name tf.losses.sparse_softmax_cross_entropy is deprecated. Please use tf.compat.v1.losses.sparse_softmax_cross_entropy instead.

['config.json', 'gitattributes', 'merges.txt', 'pytorch_model.bin', 'README.md', 'special_tokens_map.json', 'tf_model.h5', 'vocab.json']
Traceback (most recent call last):
File "C:\Users\xxxxx\OneDrive - DuPont\Python Projects\huggingface\sentiment.py", line 8, in 
model = TFPreTrainedModel.from_pretrained(dir)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\xxxxx\.pyenv\pyenv-win\versions\3.12.8\Lib\site-packages\transformers\modeling_tf_utils.py", line 2726, in from_pretrained
config, model_kwargs = cls.config_class.from_pretrained(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'from_pretrained'

docs
https://huggingface.co/docs/transformer ... n_classes/ Модель#transformers.tfpretriningmodel < /p>
предварительно обработанный_model_name_or_path (str, необязательно) - может быть либо:
a String, идентификатор модели предварительной модели, размещенной внутри модели Repo на guggingface.co.
Путь к каталогу, содержащему веса модели, сохраненные с использованием save_pretraind (), Например, ./my_model_directory/.
Путь или URL в файл сохранения Pytorch State_dict (например, ./pt_model/pytorch_model.bin). В этом случае FROM_PT должен быть установлен на true, а объект конфигурации должен быть предоставлен в качестве аргумента конфигурации. Этот путь загрузки медленнее, чем преобразование модели Pytorch в модели TensorFlow с использованием предоставленных сценариев преобразования и загрузки модели TensorFlow после этого. ).

Подробнее здесь: https://stackoverflow.com/questions/794 ... downloaded