【PyTorch】DataLoaderのshuffleとは

17101 ワード

DataLoader PyTorch DataLoader テキストリンク

なんとなく利用していたDataLoader。さらになんとなく利用していた引数shuffle。本記事では引数shuffleにより、サンプル抽出がどのように変わるのかをコードともに残しておく。
下記の質問に回答できればスルーでOK。

dataloader = torch.utils.data.DataLoader(dataset, batch_size, shuffle = True)
Trainer.fit(model, dataloader)

Shuffle Trueの場合

dataloader定義時のみサンプルはシャッフルされる？
Trainer.fit実行すると、Epoch毎にサンプルはシャッフルされる？

結論

DataLoaderのshuffleは、データセットからサンプルを抽出する際の挙動を決める引数である。DataLoader定義時ではなく、DataLoaderが呼び出されるたびにサンプルはシャッフルされる。Trainer.fit実行すると、Epoch毎にDataLoaderが呼び出され、サンプルはシャッフルされる。

Shuffle Falseの場合

データセットの上から順番に、サンプルを抽出

Shuffle Trueの場合

データセットからランダムに、サンプルを抽出

詳細

ShuffleをTrueにすることで、すべてのバッチのサンプル抽出はランダムに行われる。
Trainer.fitで学習を進める際には、下記のようにDataLoaderを実装する。

dataloader = torch.utils.data.DataLoader(dataset, batch_size, shuffle = True)
Trainer.fit(model, dataloader)

私が勘違いしていたこと

(誤)

dataloader作成時に、サンプルはランダム抽出される。
Trainer.fitにはサンプル抽出後のdataloaderが代入されている。
そのため、Shuffle Trueでも、1epoch目と2epoch目のサンプルの組み合わせは同じ。

(正)

dataloaderは、呼び出されるたびにサンプルをランダムに抽出する。
Trainer.fit内部では、epochが変わるたびにdataloaderを呼び出し、サンプルをランダムに抽出している。
そのため、Shuffle Trueであれば、1epoch目と2epochでもサンプルの組み合わせは異なる。

実装

事前準備
DataLoader検証
2.1 Shuffle Falseの場合
2.2 Shuffle Trueの場合
- dataloader定義時のみサンプルはシャッフルされる？ -> 呼び出し時に実行される
- Trainer.fit実行すると、Epoch毎にサンプルはシャッフルされる？ -> される
2.3 おまけ drop_last

　事前準備

# ライブラリの読込
import torch
import torch.nn as nn
import torch.nn.functional as F
import pytorch_lightning as pl

# サンプルデータの作成

#- 入力値: 3変数、11sample
x = torch.tensor([
                              [0, 0, 0],
                              [1, 1, 1],
                              [2, 2, 2], 
                              [3, 3, 3], 
                              [4, 4, 4], 
                              [5, 5, 5],
                              [6, 6, 6],
                              [7, 7, 7], 
                              [8, 8, 8], 
                              [9, 9, 9], 
                              [10, 10, 10]])

#- 目標値: 要素数11, 1次元ベクトル
t = torch.tensor([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# datasetの作成
dataset = torch.utils.data.TensorDataset(x, t)

#バッチサイズ定義
batch_size  = 5

DataLoader検証

Shuffle Falseの場合

dataloader = torch.utils.data.DataLoader(dataset, batch_size, shuffle = False, drop_last = True)
for tmp in iter(dataloader):
    print(tmp)

実行結果
0-4, 5-9と上から順番にサンプルが抽出されている。

[tensor([[0, 0, 0],
        [1, 1, 1],
        [2, 2, 2],
        [3, 3, 3],
        [4, 4, 4]]), tensor([0, 1, 2, 3, 4])]
[tensor([[5, 5, 5],
        [6, 6, 6],
        [7, 7, 7],
        [8, 8, 8],
        [9, 9, 9]]), tensor([5, 6, 7, 8, 9])]

Shuffle Trueの場合

dataloader = torch.utils.data.DataLoader(dataset, batch_size, shuffle = True, drop_last = True)
for tmp in iter(dataloader):
    print(tmp)

実行結果
ランダムにサンプルが抽出されている。

[tensor([[3, 3, 3],
        [5, 5, 5],
        [4, 4, 4],
        [2, 2, 2],
        [7, 7, 7]]), tensor([3, 5, 4, 2, 7])]
[tensor([[6, 6, 6],
        [8, 8, 8],
        [0, 0, 0],
        [9, 9, 9],
        [1, 1, 1]]), tensor([6, 8, 0, 9, 1])]

学習の際の挙動、Epoch毎にミニバッチの内訳は異なる?

->異なる

for i in range(5):
#表示用のprint文
    print('##############')
    print('###  epoch{}  #'.format(i))
    print('##############\n')

# Trainer.fit内部の挙動
    dataloader_tmp = dataloader
    for tmp in iter(dataloader):
        print(tmp)

実行結果
Epoch毎にサンプルがランダムに抽出されている。
dataloaderがTrainer.fit内部で何度もよびだされているため。

##############
###  epoch0  #
##############

[tensor([[ 8,  8,  8],
        [ 3,  3,  3],
        [ 2,  2,  2],
        [10, 10, 10],
        [ 6,  6,  6]]), tensor([ 8,  3,  2, 10,  6])]
[tensor([[7, 7, 7],
        [9, 9, 9],
        [0, 0, 0],
        [1, 1, 1],
        [5, 5, 5]]), tensor([7, 9, 0, 1, 5])]


##############
###  epoch1  #
##############

[tensor([[1, 1, 1],
        [4, 4, 4],
        [7, 7, 7],
        [6, 6, 6],
        [0, 0, 0]]), tensor([1, 4, 7, 6, 0])]
[tensor([[10, 10, 10],
        [ 3,  3,  3],
        [ 9,  9,  9],
        [ 8,  8,  8],
        [ 5,  5,  5]]), tensor([10,  3,  9,  8,  5])]



##############
###  epoch2  #
##############

[tensor([[7, 7, 7],
        [4, 4, 4],
        [3, 3, 3],
        [9, 9, 9],
        [2, 2, 2]]), tensor([7, 4, 3, 9, 2])]
[tensor([[ 1,  1,  1],
        [ 8,  8,  8],
        [10, 10, 10],
        [ 5,  5,  5],
        [ 6,  6,  6]]), tensor([ 1,  8, 10,  5,  6])]


##############
###  epoch3  ##
##############

[tensor([[5, 5, 5],
        [2, 2, 2],
        [1, 1, 1],
        [7, 7, 7],
        [9, 9, 9]]), tensor([5, 2, 1, 7, 9])]
[tensor([[ 0,  0,  0],
        [ 4,  4,  4],
        [10, 10, 10],
        [ 8,  8,  8],
        [ 6,  6,  6]]), tensor([ 0,  4, 10,  8,  6])]

##############
###  epoch4  #
##############

[tensor([[ 3,  3,  3],
        [10, 10, 10],
        [ 0,  0,  0],
        [ 2,  2,  2],
        [ 7,  7,  7]]), tensor([ 3, 10,  0,  2,  7])]
[tensor([[8, 8, 8],
        [6, 6, 6],
        [4, 4, 4],
        [1, 1, 1],
        [9, 9, 9]]), tensor([8, 6, 4, 1, 9])]

おまけ(drop_last)

drop_last = False

# drop last False
dataloader = torch.utils.data.DataLoader(dataset, batch_size, shuffle = False, drop_last = False)
for tmp in iter(dataloader):
    print(tmp)

実行結果

[tensor([[0, 0, 0],
        [1, 1, 1],
        [2, 2, 2],
        [3, 3, 3],
        [4, 4, 4]]), tensor([0, 1, 2, 3, 4])]
[tensor([[5, 5, 5],
        [6, 6, 6],
        [7, 7, 7],
        [8, 8, 8],
        [9, 9, 9]]), tensor([5, 6, 7, 8, 9])]
[tensor([[10, 10, 10]]), tensor([10])]

drop_last = True

# drop last True
dataloader = torch.utils.data.DataLoader(dataset, batch_size, shuffle = False, drop_last = True)
for tmp in iter(dataloader):
    print(tmp)

実行結果

[tensor([[0, 0, 0],
        [1, 1, 1],
        [2, 2, 2],
        [3, 3, 3],
        [4, 4, 4]]), tensor([0, 1, 2, 3, 4])]
[tensor([[5, 5, 5],
        [6, 6, 6],
        [7, 7, 7],
        [8, 8, 8],
        [9, 9, 9]]), tensor([5, 6, 7, 8, 9])]

参照

Author And Source

この問題について(【PyTorch】DataLoaderのshuffleとは), 我々は、より多くの情報をここで見つけました https://qiita.com/tori-san/items/8715a439e354b32fbf93

著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。

Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .