Примеры или объяснения загрузчиков данных pytorch? ⇐ Python

[Anonymous]

Я довольно новичок в Pytorch (и никогда не делал расширенного кодирования). Я пытаюсь выучить основы глубокого обучения, используя учебник D2L.AI, но у меня проблемы с пониманием логики кода для DataLoaders. Я читаю Torch.utils.data Docs и не уверен, для чего предназначен класс DataLoader, и когда, например, я должен использовать Torch.utils.data.tensordataset в сочетании с ним. Например, D2L определяет функцию: < /p>
def load_array(data_arrays, batch_size, is_train=True):
"""Construct a PyTorch data iterator."""
dataset = data.TensorDataset(*data_arrays)
return data.DataLoader(dataset, batch_size, shuffle=is_train)
< /code>
Я предполагаю, что это должно вернуть итерабильно, что итерация по разным партиям. Тем не менее, я не понимаю, что делает часть Data.Tensordataset (похоже, есть много вариантов, перечисленных на странице DOCS). Кроме того, в документах говорится, что существует два типа наборов данных: итерабильный и стиль карты. При описании первого типа говорится, что < /p>
»Этот тип наборов данных особенно подходит для случаев, когда случайные чтения являются дорогими или даже невероятными, и где размер партии зависит от полученных данных». < /p>
Что это значит для «случайного чтения, чтобы быть дорогостоящим или невероятным» и для того, чтобы Batch_size зависел от извлеченных данных? Может ли кто -нибудь привести пример этого? Большое спасибо!

Подробнее здесь: https://stackoverflow.com/questions/651 ... ataloaders