PyTorch: torch.utils.data.Dataset

torch.utils.data.Dataset
Firetochでは、データセットをより容易に処理するためにtorch.utils.data.DatasetとTorch.utils.data.DataLoaderを提供します.使用方法は、DataSetを定義し、DataLoaderに渡すことです.

# 커스텀 데이터셋(Custom Dataset)을 만드는 기본적인 뼈대
class CustomDataset(torch.utils.data.Dataset): 
  def __init__(self): # 데이터셋의 전처리를 해주는 부분

  def __len__(self): # 데이터셋의 길이 (총 샘플의 수)

  def __getitem__(self, idx): # 데이터셋에서 특정 1개의 샘플을 가져오는 함수

なぜCustom Data Setを使用するのですか?
データ量が大きい場合、一度にデータをロードするのは容易ではないので、一度にロードするのではなく、一度にロードする方法を選択する必要があります.したがって、すべてのデータがロードおよび使用される既存のデータセットではなく、顧客データセットが必要です.