Почему предоставленный DeepSeek, предоставляемый DeepSeek, приводит к ошибке «неизвестного типа квантования»? ⇐ Python

[Anonymous]

Я использую этот код из HuggingFace:
Этот код прямо вставлен со страницы веб-сайта HuggingFace на DeepSeek и должен быть код подключаемой игры:

from transformers import pipeline

messages = [
{"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="deepseek-ai/DeepSeek-R1", >trust_remote_code=True)
pipe(messages)
< /code>
< /blockquote>
Но я не могу загрузить модель. Когда я это сделаю, я получаю эту проблему:

file "/site-packages/transformers/Quantizers/auto.py", строка 97 , in from_dict < /p>
raise ValueError(

ValueError: Unknown quantization type, got fp8 - supported types are:
['awq', 'bitsandbytes_4bit', 'bitsandbytes_8bit', 'gptq', 'aqlm', 'quanto', 'eetq',
'hqq', 'compressed-tensors', 'fbgemm_fp8', 'torchao', 'bitnet']
< /code>
< /blockquote>
Я попробовал другой код: < /p>
import torch
generate_text = pipeline(model="deepseek-ai/DeepSeek-R1",torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
generate_text(messages)
< /code>
Это дает следующую ошибку: < /p>

повышать значение valueerror (valueerror: неизвестный тип квантования, Got fp8 - поддерживаемые типы : ['awq', 'bitsandbytes_4bit', 'bitsandbytes_8bit', 'gptq', 'aqlm', 'Quanto', 'eetq', «Хиггс», «hqq», «сжатые стендоры», 'fbgemm_fp8', 'torchao', 'bitnet', 'vptq'] < /p>
< /blockquote>
Что Могу я сделать?

Подробнее здесь: https://stackoverflow.com/questions/794 ... tization-t