При использовании более 1 рабочих процессов DataLoader в PyTorch, каждый ли рабочий процесс имеет доступ к одному и тому же экземпляру набора данных? Или у каждого работника DataLoader есть собственный экземпляр Dataset?
from torch.utils.data import DataLoader, Dataset
class NumbersDataset(Dataset):
def __init__(self):
self.samples = list(range(1, 1001))
def __len__(self):
return len(self.samples)
def __getitem__(self, idx):
return self.samples[idx]
dataset = NumbersDataset()
train_loader = DataLoader(dataset, num_workers=4)
Подробнее здесь: https://stackoverflow.com/questions/623 ... er-workers
Доступны ли к набору данных PyTorch несколько рабочих DataLoader? ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Как работает очередь в DataLoader DataLoader Pytorch с num_workers> = 2?
Anonymous » » в форуме Python - 0 Ответы
- 1 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Обучение модели PyTorch с помощью DataLoader происходит слишком медленно
Anonymous » » в форуме Python - 0 Ответы
- 35 Просмотры
-
Последнее сообщение Anonymous
-