Как использовать веса классов с фокусной потерей в PyTorch для несбалансированного набора данных для многоклассовой клас ⇐ Python

[Anonymous]

Я работаю над мультиклассовой классификацией (4 класса) для языковой задачи и использую модель BERT для задачи классификации. Я слежу за этим сообщением в блоге «Передача обучения для НЛП: точная настройка BERT для классификации текста». Моя модель BERT Fine Tuned возвращает nn.LogSoftmax(dim=1).
Мои данные довольно несбалансированы, поэтому я использовал sklearn.utils.class_weight .compute_class_weight для вычисления весов классов и использования весов внутри Loss.

Код: Выделить всё

class_weights = compute_class_weight('balanced', np.unique(train_labels), train_labels)
weights= torch.tensor(class_weights,dtype=torch.float)
cross_entropy  = nn.NLLLoss(weight=weights)

Мои результаты были не очень хорошими, поэтому я подумал об эксперименте с потерей фокуса и разработал код для потери фокуса.

Код: Выделить всё

class FocalLoss(nn.Module):
def __init__(self, alpha=1, gamma=2, logits=False, reduce=True):
super(FocalLoss, self).__init__()
self.alpha = alpha
self.gamma = gamma
self.logits = logits
self.reduce = reduce

def forward(self, inputs, targets):
BCE_loss = nn.CrossEntropyLoss()(inputs, targets)

pt = torch.exp(-BCE_loss)
F_loss = self.alpha * (1-pt)**self.gamma * BCE_loss

if self.reduce:
return torch.mean(F_loss)
else:
return F_loss

У меня сейчас 3 вопроса. Первое и самое важное:

• Следует ли мне использовать вес класса с потерей фокуса?
• Если мне нужно реализовать веса внутри этой фокусной потери, могу ли я использовать параметры весов внутри nn.CrossEntropyLoss()
• Если это орудие неверно, какой у него должен быть правильный код, включая вес (если возможно)

Подробнее здесь: https://stackoverflow.com/questions/647 ... aset-for-m