Как загрузить 4-битную квантованную модель VLM от обнимающего лица с трансформаторами? ⇐ Python

[Anonymous]

Я новичок в квантовании и работаю с моделями визуального языка (VLM). Я пытаюсь загрузить 4-битную квантовую версию модели OVIS1.6-Gemma, обнимающую лицо с использованием библиотеки трансформаторов. Я скачал модель по этой ссылке: https://huggingface.co/theTacursed/ovis ... бразноfrom transformers import AutoModelForCausalLM, BitsAndBytesConfig

# Define the quantization configuration
kwargs = {
"quantization_config": BitsAndBytesConfig(
load_in_4bit=True,
load_in_8bit=False,
bnb_4bit_compute_dtype="float32",
bnb_4bit_quant_storage="uint8",
bnb_4bit_quant_type="fp4",
bnb_4bit_use_double_quant=False,
llm_int8_enable_fp32_cpu_offload=False,
llm_int8_has_fp16_weight=False,
llm_int8_skip_modules=None,
llm_int8_threshold=6.0
)
}

model = AutoModelForCausalLM.from_pretrained(
"ThetaCursed/Ovis1.6-Gemma2-9B-bnb-4bit",
trust_remote_code=True,
**kwargs
).cuda()
< /code>
Тем не менее, я сталкиваюсь с следующими предупреждениями: < /p>
warnings.warn(_BETA_TRANSFORMS_WARNING)
Unused kwargs: ['_load_in_4bit', '_load_in_8bit', 'quant_method'].
Loading checkpoint shards: 100%|██████████| 2/2 [00:06

Подробнее здесь: https://stackoverflow.com/questions/791 ... ansformers