PyTorch: AttributeError: объект «torch.dtype» не имеет атрибута «itemsize». ⇐ Python

[Anonymous]

Я пытаюсь следовать этой статье в средней статье.
У меня возникли некоторые проблемы с ней, поэтому единственное изменение, которое я сделал, было в объекте TrainingArguments, который я добавилgradient_checkpointing_kwargs ={'use_reentrant':False},.
Итак, теперь у меня есть следующие объекты:

Код: Выделить всё

peft_training_args = TrainingArguments(
output_dir = output_dir,
warmup_steps=1,
per_device_train_batch_size=1,
gradient_accumulation_steps=4,
max_steps=100, #1000
learning_rate=2e-4,
optim="paged_adamw_8bit",
logging_steps=25,
logging_dir="./logs",
save_strategy="steps",
save_steps=25,
evaluation_strategy="steps",
eval_steps=25,
do_eval=True,
gradient_checkpointing=True,
gradient_checkpointing_kwargs={'use_reentrant':False},
report_to="none",
overwrite_output_dir = 'True',
group_by_length=True,
)

peft_model.config.use_cache = False

peft_trainer = transformers.Trainer(
model=peft_model,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
args=peft_training_args,
data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False),
)

И когда я вызываю peft_trainer.train(), я получаю следующую ошибку:

Код: Выделить всё

AttributeError: 'torch.dtype' object has no attribute 'itemsize'

Я использую Databricks, и моя версия pytorch — 2.0.1+cu118

Подробнее здесь: https://stackoverflow.com/questions/782 ... e-itemsize