Модель обучения с подкреплением не тренируется на графическом процессоре Pytorch ⇐ Python

[Anonymous]

Я настраивал своего агента RL для обучения на графическом процессоре, а не на процессоре обычным способом...
Но мой GeForce RTX 3060 использует 1%, когда я запускаю 4 экземпляра моего агента. Это игра с картой и игроком, который должен собирать очки и уклоняться от врагов. Я вижу только увеличение процессора, но графический процессор остается прежним. Я также не нашел хорошей информации о том, как настроить его в Интернете.
Вот моя модель:
( и в классе агента я добавил .to(device), где устройство — это мой графический процессор)
Итак, мой вопрос: что я делаю не так, потому что, если я отключу частоту кадров в pygame (поэтому установите ее на неограниченное значение, я думаю?), моя сеть должна тренироваться быстрее, но это не так...
Я благодарен за любой полезный совет!

Код: Выделить всё

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
import os

class Linear_QNet(nn.Module):
def __init__(self, input_size, hidden_size, hidden_size2, output_size):
super().__init__()
self.linear1 = nn.Linear(input_size, hidden_size)
self.linear2 = nn.Linear(hidden_size, hidden_size2)
self.linear3 = nn.Linear(hidden_size2, hidden_size)
self.linear4 = nn.Linear(hidden_size, output_size)

def forward(self, x):
x = F.relu(self.linear1(x))
x = F.relu(self.linear2(x))
x = F.relu(self.linear3(x))
x = self.linear4(x)
return x

def save(self, file_name='model.pth'):
model_folder_path = './model'
if not os.path.exists(model_folder_path):
os.makedirs(model_folder_path)

file_name = os.path.join(model_folder_path, file_name)
torch.save(self.state_dict(), file_name)

class QTrainer:
def __init__(self, model, lr, gamma):
self.lr = lr
self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
self.gamma = gamma
self.model = model.to(self.device)  # Verschiebe das Modell auf die GPU
print("wo wird trainiert?: ")
print("self.device = ",self.device)
self.optimizer = optim.Adam(model.parameters(), lr=self.lr)
self.criterion = nn.MSELoss()

def train_step(self, state, action, reward, next_state, done):
state = torch.tensor(state, dtype=torch.float32).to(self.device)
next_state = torch.tensor(next_state, dtype=torch.float).to(self.device)
action = torch.tensor(action, dtype=torch.long).to(self.device)
reward = torch.tensor(reward, dtype=torch.float).to(self.device)

if len(state.shape) == 1:
state = torch.unsqueeze(state, 0)
next_state = torch.unsqueeze(next_state, 0)
action = torch.unsqueeze(action, 0)
reward = torch.unsqueeze(reward, 0)
done = (done,)  # tupel with just one value

# 1: predicted Q values with the current state
pred = self.model(state)

target = pred.clone()
for idx in range(len(done)):
Q_new = reward[idx]
if not done[idx]:
Q_new = reward[idx] + self.gamma * torch.max(self.model(next_state[idx]))
target[idx][torch.argmax(action).item()] = Q_new

self.optimizer.zero_grad()  # empty gradients
loss = self.criterion(target, pred)  # calc the loss
loss.backward()

self.optimizer.step()

def loadModel(self):
model_folder_path = './model'
model_name = 'model.pth'
file_path = os.path.join(model_folder_path, model_name)
if os.path.exists(file_path):
state_dict = torch.load(file_path, map_location=self.device)
self.model.load_state_dict(state_dict)
self.model.eval()
print(f"Model {model_name} gefunden und geladen.")
else:
print(f"Kein Modell namens {model_name} gefunden.")

Гугл, Youtube и обычные вещи...

Подробнее здесь: https://stackoverflow.com/questions/787 ... pu-pytorch