Работа с Llama 3.2 Vision Multimodal для обнаружения объектов с использованием roboflow ⇐ Python

[Anonymous]

Итак, я работаю над проектом, в котором использую набор данных, загруженный из Roboflow в формате yolo, а затем пытаюсь передать папку обучения в Llama 3.2 для контролируемого обучения на этом наборе данных с помощью преобразователей обнимающихся лиц, но проблема в том, что что он запускается при обучении, но в большинстве случаев просто останавливается сам по себе, без ошибок.
Я пробовал разные методы его точной настройки, но ни один из них не сработал.
Я пробовал разные методы его точной настройки, но ни один из них не сработал.
Я пробовал разные методы его точной настройки, но ни один из них не сработал.
р>
Я также поделился фрагментом своего метода точной настройки для Llama, и в настоящее время во время обучения он продолжает выдавать ошибки.
Я также хотел бы уточнить, что я использую RTX 4090 с 64 ГБ ОЗУ и I9-14900k.
И ниже приведен формат моего набора данных roboflow:
Формат Yolov8 для набор данных
def train_llama(images, descriptions):
print("Initializing model and processor...")
model_id = "meta-llama/Llama-Guard-3-11B-Vision"

# Initialize processor
processor = AutoProcessor.from_pretrained(model_id)

# Initialize model
model = AutoModelForImageTextToText.from_pretrained(
model_id,
torch_dtype=torch.float16,
device_map="cuda"
)
model.config.use_cache = False

print("Creating dataset...")
dataset = CustomImageTextDataset(images, descriptions, processor)

# Split dataset
train_size = int(0.9 * len(dataset))
val_size = len(dataset) - train_size
train_dataset, val_dataset = torch.utils.data.random_split(dataset, [train_size, val_size])
print(f"Train size: {train_size}, Validation size: {val_size}")

# Training arguments
training_args = TrainingArguments(
output_dir="./llama_finetuned",
learning_rate=1e-5,
num_train_epochs=3,
per_device_train_batch_size=2,
gradient_accumulation_steps=4,
warmup_ratio=0.05,
logging_steps=10,
eval_strategy="steps",
eval_steps=50,
save_strategy="steps",
save_steps=100,
fp16=True,
gradient_checkpointing=True,
remove_unused_columns=False,
report_to="tensorboard",
load_best_model_at_end=True,
metric_for_best_model="loss",
dataloader_num_workers=0
)

# Initialize trainer
trainer = CustomTrainer(
model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=val_dataset
)

print("Starting Llama training...")
try:
trainer.train()
print("Training completed successfully!")

print("Saving model...")
trainer.save_model("./final_llama_model")
print("Model saved successfully!")
return True

except Exception as e:
print(f"Error during training: {str(e)}")
print(f"Traceback: {traceback.format_exc()}")
return False


Подробнее здесь: https://stackoverflow.com/questions/793 ... g-roboflow