Невозможно загрузить закрытую модель из Hugginface, несмотря на наличие доступа и вход в систему. ⇐ Python

[Anonymous]

Я обучаю модель Llama-3.1-8B-Instruct для конкретной задачи.
Я запросил доступ к репозиторию Huggingface и получил доступ, подтвержденный на панели управления веб-приложения Huggingface.Я попробовал вызвать функциюhuggingface_hub.login с токеном для входа в систему, а затем загрузить модель в том же скрипте. Я получаю сообщение об ошибке, в котором говорится, что мне необходимо войти в систему для доступа к закрытым репозиториям.
Затем я попытался войти в систему с помощью команды входа в Huggingface-cli, и это удалось. Я получил ту же ошибку после запуска сценария.
Затем я снова попробовал первый подход, но токен не передал, в документации сказано, что я должен получить подсказку для токена. Однако функция входа в систему, похоже, блокируется после отображения логотипа HF, но не отображает запрос на ввод токена.
Что-то мне здесь не хватает для доступа к моделям?< /p>
Мой код:

Код: Выделить всё

hf_login()

base_model_name = 'meta-llama/Llama-3.1-8B-Instruct'
tokenizer = AutoTokenizer.from_pretrained(base_model_name)  # this line causes error
model = AutoModelForCausalLM.from_pretrained(base_model_name)

Ошибка:

Код: Выделить всё

OSError: You are trying to access a gated repo.
Make sure to have access to it at https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct.
401 Client Error. (Request ID: Root=1-673f47aa-6b11aae44cd9c6523654070c;5816d1af-49a5-4262-bec0-dab7ecad66e4)

Cannot access gated repo for url https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct/resolve/main/config.json.
Access to model meta-llama/Llama-3.1-8B-Instruct is restricted. You must have access to it and be authenticated to access it. Please log in.

Я уверен, что у меня есть доступ к моделям мета-ламы/ламы-3.1. Командаhuggingface-cli whoami правильно возвращает мое имя пользователя, поэтому я также вошел в систему.
Мой токен настроен на доступ для чтения, я также пытаюсь выполнить запись доступ к одному.
EDIT: я создал новый токен доступа для записи. Вход через функциюhuggingface_hub.login прошел успешно. Модели все еще не загружались. Я попробовал использовать терминал Windows вместо встроенного терминала pycharm, и теперь он работает. До сих пор не знаю, почему это работает сейчас.

Подробнее здесь: https://stackoverflow.com/questions/792 ... logging-in