Вывод модели Huggingface: ОШИБКА: флаг minloglevel был определен более одного раза (в файлах src/error.cc и ..) ⇐ Python

[Anonymous]

Я пытаюсь использовать llama 3.1 70b от HuggingFace (конечная цель — квантовать ее и развернуть в amazon sagemaker), но я столкнулся с:

ОШИБКА: флаг minloglevel был определен более одного раза (в файлах
'src/error.cc' и
'home/conda/feedstock_root/build_artifacts/abseil-split_1720857154496/work/absl/log /flags.cc').

Код очень простой (квантование еще не применено), но я не могу заставить его работать (первоначально я использовал блокнот и ядро ​​умерло, после экспорта кода в файл Python я обнаружил упомянутую ранее ошибку).

Код: Выделить всё

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig, AutoTokenizer
model_id = "meta-llama/Llama-3.1-8B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="auto"
)
input_text = """userTranslate the following English text to French:
'Hello, how are you?'assistant"""
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
print(input_ids)
output = model.generate(**input_ids, max_new_tokens=10)

Я пробовал версии 70b и 8b, но ни одна из них не сработала (поэтому я знаю, что это не что-то специфическое для 70), у меня такое ощущение, что это связано с конфликтами пакетов или чем-то подобным, и не обязательно модели. Есть подсказки?

Подробнее здесь: https://stackoverflow.com/questions/790 ... e-than-onc