Модель PyTorch не обучается ⇐ Python

[Anonymous]

У меня проблема, которую я не могу решить уже неделю. Я пытаюсь построить классификатор CIFAR-10, но значение моих потерь после каждой партии скачет случайным образом, и точность не улучшается даже для одной и той же партии (я даже не могу переобучить модель одной партией), так что я думаю, это единственная возможная причина есть - веса не обновляются.

Класс «Мой модуль»

Код: Выделить всё

class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv_pool = nn.Sequential(
nn.Conv2d(3, 64, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(64, 128, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(128, 256, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(256, 512, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(512, 512, 1),
nn.ReLU(),
nn.MaxPool2d(2, 2))

self.fcnn = nn.Sequential(
nn.Linear(512, 2048),
nn.ReLU(),
nn.Linear(2048, 2048),
nn.ReLU(),
nn.Linear(2048, 10)
)

def forward(self, x):
x = self.conv_pool(x)
x = x.view(-1, 512)
x = self.fcnn(x)
return x

Оптимизаторы, которые я использую:

Код: Выделить всё

net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

Функция «Мой поезд»:

Код: Выделить всё

def train():
for epoch in range(5):  # loop over the dataset multiple times
for i in range(0, df_size):
# get the data

try:
images, labels = loadBatch(ds, i)
except BaseException:
continue

# wrap
inputs = Variable(images)

optimizer.zero_grad()

outputs = net(inputs)

loss = criterion(outputs, Variable(labels))

loss.backward()
optimizer.step()
acc = test(images,labels)
print("Loss: " + str(loss.data[0]) + " Accuracy %: " + str(acc) + " Iteration: " + str(i))

if i % 40 == 39:
torch.save(net.state_dict(), "model_save_cifar")

print("Finished epoch " + str(epoch))

Я использую batch_size = 20, image_size = 32 (CIFAR-10)

loadBatch функции возвращают кортеж из LongTensor 20x3x32x32 для изображений и LongTensor 20x1 для меток

Я был бы очень рад, если бы вы помогли мне или предложили возможное решение (я предполагаю, что это из-за последовательных модулей в NN, но параметры, которые я передаю оптимизатору, кажутся правильными)

Подробнее здесь: https://stackoverflow.com/questions/453 ... t-training