YOLO11m настроен на галлюцинации набора данных SKU и отсутствие обнаружений DuoPack ⇐ Python

[Anonymous]

Я работаю над системой обнаружения продуктов на розничных полках, используя YOLO11m, настроенную на наборе данных из 110 тысяч SKU с одним классом «продукт». В целом модель работает хорошо, но после добавления синтетических изображений конкретного продукта под названием DuoPack у меня возникли две проблемы.
Предпосылки:
DuoPack — это продукт, состоящий из двух отдельных упаковок, соединенных вместе. Модель не обнаруживала его надежно, поэтому я создал около 500 синтетических изображений, используя аугментацию на фоне полки, и переобучил модель.
Проблемы:
1. Модель по-прежнему не может надежно обнаружить DuoPack, несмотря на то, что в обучающем наборе имеется более 500 его изображений
2. Модель теперь галлюцинирует, обнаруживая пустые места как продукты (см. прикрепленное изображение).
Настройка:
- Модель: YOLO11m
- Набор данных: набор данных 110 тыс. SKU + ~500 синтетических изображений DuoPack
- Один класс: `product`
- Инфраструктура обучения: GCP Vertex AI, NVIDIA A100 80 ГБ
- Параметры обучения: `epochs=50`, `imgsz=640`, `batch=96`, `optimizer=AdamW`, `lr0=0.01`
- Метрики после обучения: mAP50=0,88, Precision=0,88, Recall=0,84
Конфигурация обучения:
```yaml
- --epochs=50
- --imgsz=640
- --batch=96
- --optimizer=AdamW
- --lr0=0.01
- --lrf=0.01
- --momentum=0.937
- --weight_decay=0.0005
- --warmup_epochs=3
- --cos_lr=true
- --box=7.5
- --cls=0.5
- --dfl=1.5
- --iou=0.7
- --mosaic=1.0
- --mixup=0.1
- --copy_paste=0.1
```
Вопросы:
1. Что вызывает галлюцинации и как их исправить?
2. DuoPack выглядит как две сложенные одиночные упаковки. Почему модель не распознает его как один продукт и как это исправить?
3. Есть ли лучший подход к работе с продуктом, который недостаточно представлен в наборе данных?
Прикрепляем изображения результатов обнаружения. Любая помощь приветствуется, спасибо!