Как создать встраивание для 4-битной квантованной модели llama3, используя Huggingface и Langchain ⇐ Python

[Anonymous]

Я пытаюсь сделать тряпку, используя длинную цепь и обнимающее лицо,

Код: Выделить всё

from langchain_huggingface import HuggingFaceEmbeddings

model_name = "unsloth/llama-3-8b-Instruct-bnb-4bit"
model_kwargs = {'device': device}
encode_kwargs = {'normalize_embeddings': False}
hf = HuggingFaceEmbeddings(
model_name=model_name,
model_kwargs=model_kwargs,
encode_kwargs=encode_kwargs
)
...
vectorstore = Chroma.from_documents(documents=splits, embedding=hf)

Однако при создании hf я получаю сообщение об ошибке ValueError: предоставленный dict состояния для Layers.0.mlp.down_proj.weight не содержит bitsandbytes__* и, возможно, других компонентов quantized_stats.
Как мне исправить? Спасибо

Подробнее здесь: https://stackoverflow.com/questions/786 ... ace-and-la