Использование языковой модели Phi-3-Mini квантовая версия в ноутбуке Юпитера ⇐ Python

[Anonymous]

Я пытаюсь использовать небольшую языковую модель в ноутбуке Юпитера и не могу найти рабочее решение. Я хочу использовать квантовую версию Phi-3-Mini, так как она достаточно мала, чтобы поместиться на моем GPU, и работает быстрее. But when loading the quantized version I always get a ValueError saying that: "Unrecognized configuration class to build an AutoTokenizer."
из документации по Huggingface: https://huggingface.co/microsoft/phi-3- ... truct-onnx. ПРЕСС Использование этой версии. < /p>
from transformers import AutoTokenizer, AutoModelForCausalLM

# This works just fine (normal version but too big for my GPU)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-128k-instruct",trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-3-mini-128k-instruct",trust_remote_code=True)

# But this throws an error (quantized version)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-128k-instruct-onnx", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-3-mini-128k-instruct-onnx", trust_remote_code=True)


Подробнее здесь: https://stackoverflow.com/questions/784 ... r-notebook