Сохраните на диск набор обучающих данных и набор проверочных данных отдельно в PyTorch. ⇐ Python

[Anonymous]

Я хочу сохранить набор данных поезда, набор тестовых данных и набор данных проверки в трех отдельных папках.
Сделать это для обучения и тестирования легко

Код: Выделить всё

# Get training and testing data
all_training_data = getattr(datasets, config['Pytorch_Dataset']['dataset'])(
root= path_to_data + "/data_all_train_" + config['Pytorch_Dataset']['dataset'],
train=True,
download=True, # If present it will not download the data again
transform=ToTensor()
)
test_data = getattr(datasets, config['Pytorch_Dataset']['dataset'])(
root= path_to_data + "/data_test_" + config['Pytorch_Dataset']['dataset'],
train=False,
download=True, # If present it will not download the data again
transform=ToTensor()
)

Этот код использует torchvision.datasets для загрузки и сохранения на диск набора данных, указанного в config['Pytorch_Dataset']['dataset'] (например, МНИСТ). Однако нет возможности загрузить набор проверки таким образом, нет опции validation=True.
Я мог бы разделить набор данных поезда на поезд и проверку с помощью torch.utils .data.random.split, но при таком подходе есть две основные проблемы:

• Я не хочу сохранять папку data_all_train< /code>, я хочу сохранить только 2 папки: одну с истинной частью обучения, а другую с частью проверки.
• Мне бы хотелось, чтобы PyTorch понимал, совпадают ли data_train и data_validation< /code> присутствуют, и в этом случае не следует повторно загружать data_all_train, даже если они отсутствуют

Подробнее здесь: https://stackoverflow.com/questions/791 ... in-pytorch