Как правильно использовать KID Score (FID Score) ⇐ Python

[Anonymous]

Для моего последнего магистерского проекта я пытаюсь выполнить дополнение данных в наборе данных тепловых изображений (черно-белые) для обнаружения рака молочной железы. Этот набор данных содержит только 280 изображений, которые можно преобразовать в 2475 с помощью некоторых методов увеличения данных, а другой студент в прошлом году построил модель, точность которой достигла 94 %.
Мои учителя сказали мне, что было бы интересно попробовать увеличение данных с помощью GAN в этом наборе данных, так что, возможно, модель улучшится. Я создал модель StyleGAN и функцию обучения, чтобы исследовать, как GAN обучается и когда он достигает точки переоснащения (или, может быть, точки, когда KID/FID больше не улучшается).
Дело в том, что я не знаю, как правильно применять KID Score в обучении (несмещенная версия FID Score), потому что я читал в некоторых статьях, что вам следует как минимум генерировать от 10 тысяч и 50 тыс. изображений, чтобы функция имела правильное значение KID, но мой графический процессор не может хранить столько данных и останавливает выполнение.
В ранних версиях функции обучения я пробовал для расчета KID Score следующим образом:

Код: Выделить всё

# KID Score
KID = KernelInceptionDistance(subsets = 64, subset_size = 20, normalize = True).to(device)
kid_score = []

# Saving KID Score
KID.update(real_imgs.repeat(1, 3, 1, 1), real=True)
KID.update(gen_imgs.repeat(1, 3, 1, 1), real=False)
kid_score.append(KID.compute()[0].item())

Я использую реализацию torchmetrics.image.kid.KKernelInceptionDistance (документация здесь), поскольку она беспристрастна в небольшом наборе данных. Кроме того, в приведенном выше коде real_imgs — это пакет реальных изображений, а gen_imgs — пакет сгенерированных изображений. Я сохраняю KID Score каждые 10 эпох и провожу обучение в течение 600 эпох. Поскольку в настоящее время я тренирую StyleGAN, размеры real_imgs и gen_imgs составляют 128, 64, 32 и 16 в зависимости от текущего состояния обучения (постепенный рост StyleGAN).
Я прочитайте статью «Обучение генеративно-состязательных сетей с
ограниченными данными», и в них указано, что вам следует сгенерировать не менее 10 000 или более 50 тыс. изображений; Я не знаю, относится ли это к каждой эпохе (я так не думаю...), но я подумал, что мне следует генерировать больше, поэтому я попытался сгенерировать 1200 изображений каждую эпоху и передать переменную KID Score, но мое обучение не завершится даже с 10 контрольных точек (только 10 показаний KID Score) из-за нехватки памяти графического процессора.
Чтобы еще больше прояснить эту ситуацию, я собираюсь показать изображение KID Score во время обучение:


Мой вопрос:

• Это правильный способ расчет KID Score чтобы увидеть переоснащение или конвергенцию моего GAN? Или мне следует использовать другой подход?
• Правильны ли значения KID Score? Или у них должны быть другие дистрибутивы? Я думаю, что, возможно, KID Score слишком мал, и я не знаю, нормально это или нет (возможно, это из-за «повтора» черно-белых изображений -> real_imgs.repeat(1, 3, 1, 1))

Заранее большое спасибо!

Подробнее здесь: https://stackoverflow.com/questions/792 ... -fid-score