Насколько LM (сотни миллионов параметров) превосходит LLM (миллиарды параметров) в задаче двоичной классификации? такое ⇐ Python

[Anonymous]

Предисловие
Я пытаюсь доработать модель на основе трансформатора (LM и LLM). LM, который я использовал, — DEBERTA, а LLM — LLaMA 3. Задача — определить, содержит ли текст снисходительный язык (бинарная классификация).
Я использую AutoModelForSequenceClassification, который добавляет уровень классификации к верхнему уровню модели как для LM, так и для LLM.
Реализация

• Набор данных:
  • Объем: около 10 000 текстов, каждый из которых помечен 0 (чтобы не снисходительно) и 1< /code> (снисходительно). Пропорция — 1:10 (снисходительно: не снисходительно).
• Параметр

Параметр
LM
LLM




Размер пакета
3216 (per_device_train_batch_size = 4,gradient_accumulation_steps = 4)


Эпоха/шаги2 эпохи
1000 шагов (20 % используются в качестве набора проверки)


Скорость обучения
линейная (2e-5)
постоянная (2e-5)
< /tr>

Оптимизатор
AdamW (lr = 2e-5, eps = 1e-8)
paged_adamw_32bit


Точная настройка
Полная тонкая настройка< /td>
LoRA (ранг=32, отсев=0,5, альфа=8) с 8-битным квантованием


Скорость обучения
линейная (2e-5)
постоянная (2e-5)
< /tr>

Точность
0,659
0,836


Вспомнить
0,47
0,091

Оценка F1
0,549
0,164



Вопрос и проблема
Вот лог обучающей выборки. Оценка f1 проверки всегда равна >0,6. Но потери при проверке остаются на уровне 0,24. Это один из образцов доработанного LLM.

• Почему показатель f1 тестового набора находится в диапазоне только от 0 до 0,2 для некоторых вариаций параметров, которые я настроил?
• Обычно ли LM превосходит LLM в выполнении конкретной задачи? Если да, то какова причина?

Подробнее здесь: https://stackoverflow.com/questions/786 ... for-binary