Загрузка адаптера LORA с Llama 3.1 8B - предупреждение о пропавших ключах ⇐ Python

[Anonymous]

У меня проблемы с загрузкой адаптеров Lora для вывода после тонкой настройки Llama 3.1 8b. Когда я пытаюсь загрузить файлы адаптера в новом сеансе, я получаю предупреждение о пропущенных клавишах адаптера: < /p>

Код: Выделить всё

/usr/local/lib/python3.11/dist-packages/peft/peft_model.py:599: UserWarning: Found missing adapter keys while loading the checkpoint: ['base_model.model.model.layers.0.self_attn.q_proj.lora_A.default.weight', 'base_model.model.model.layers.0.self_attn.q_proj.lora_B.default.weight', 'base_model.model.model.layers.0.self_attn.k_proj.lora_A.default.weight',...

Предупреждение продолжается со многими подобными недостающими клавишами. Модель ведет себя так, как будто она вообще не настраивала. 2.6.0+Cu124 < /li>
[*] Ускорение 0.31.0 < /li>
< /ul>
После обучения я сохранил модель и получил эти файлы: < /p>

adapter_model.safetensors />[*] adapter_config.json
[*]training_args.bin
< /ol>
Вот как я загрузил модель и адаптеры: < /p>

Код: Выделить всё

# Load base model
base_model_id = "meta-llama/Llama-3.1-8B"
lora_weights = "path to weights"

bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)

base_model = AutoModelForCausalLM.from_pretrained(
pretrained_model_name_or_path=base_model_id,
quantization_config=bnb_config,
trust_remote_code=True,
token=True
)

# Set up tokenizer
eval_tokenizer = AutoTokenizer.from_pretrained(
base_model_id,
add_bos_token=True,
trust_remote_code=True,
use_fast=True
)
eval_tokenizer.pad_token = eval_tokenizer.eos_token

# Load LoRA adapters
ft_model = PeftModel.from_pretrained(base_model, lora_weights, output_loading_info=True)

Любые идеи о том, что может вызвать эту проблему или как ее исправить?
Заранее!

Подробнее здесь: https://stackoverflow.com/questions/795 ... ys-warning