Как загрузить свой датасет в pytorch?

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import torch
from torch.utils.data import Dataset, DataLoader

class MyDataset(Dataset):
  def __init__(self):
    # читать с файла или дата
    pass
  def __len__(self):
    return len(self.data)
  def __getitem__(self, idx):
    return self.data[idx]

dataset = MyDataset()
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)
for batch in dataloader:
  # сделать что нибудь с данными
  pass

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import torch
from torch.utils.data import Dataset, DataLoader

class MyDataset(Dataset):
    def __init__(self):
        # загрузите ваш датасет или проведите другую предварительную обработку данных здесь
        pass

    def __len__(self):
        # возвращаем размер датасета
        return len(self.data)

    def __getitem__(self, idx):
        # возвращаем элемент датасета по индексу
        return self.data[idx]

# создаем экземпляр своего класса датасета
dataset = MyDataset()

# создаем DataLoader для работы с данными
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)

# проходимся по каждому батчу в DataLoader
for batch in dataloader:
    # делаем что-то с данными
    pass