Процессы обучения были прерваны из-за ошибки «RuntimeError: нет аккумулятора оценок для сохраненного листа!» [закрыто] ⇐ Python

[Anonymous]

При обучении простой модели процессы аварийно завершились с ошибкой RuntimeError: Нет аккумулятора градаций для сохраненного листа! в loss.backward(), но я убедился, что все данные, необходимые для расчета градиентов, на графических процессорах.

Код: Выделить всё

def train_epoch(args, epoch, model, loss_fn, optim, dataloader, lr_scheduler=None, warmup_scheduler=None):
model.train()
dataloader.sampler.set_epoch(epoch)

mae_m, loss_m = AverageMeter(), AverageMeter()
calc_m, read_m = AverageMeter(), AverageMeter()
timer = Timer()
log_step = len(dataloader) // 11
if args.local_rank == 0:
args.writer.add_scalar('lr', optim.param_groups[0]['lr'], epoch)

mae_list, pred_list = [], []

for step, sample in enumerate(dataloader):
data, label = sample['data'].cuda().requires_grad_(), sample['label'].cuda()
read_m.add(timer.tiktok())

optim.zero_grad()
# (output, deep_output), attn = model(data)
output = model(data)
output = output.reshape(label.shape)
# loss = loss_fn(output, label) + loss_fn(deep_output, label)
loss = loss_fn(output, label)
loss.backward(retain_graph=True)

Код для обучения приведен выше. А ошибка одного из процессов проиллюстрирована ниже:


Я обратился за помощью к ChatGPT, последовал его совету и добавил .requires_grad_() для данных (что, я думаю, не нужно), чтобы убедиться, что это будет вычисляются градиенты, и я добавил save_graph=True для loss.backward(). Но все равно не помогло.
Как решить эту проблему?

Подробнее здесь: https://stackoverflow.com/questions/790 ... ator-for-a