敵対的サンプル


この記事は未完成で、随時勉強して書き加えていきます。

⒈敵対的サンプル

画像認識分野で考えます。

敵対性サンプルとは、元画像データ(モデルによって正しく分類できているデータ)に対してノイズを加えるという変換を加えることで、モデルが誤認識するようなデータを故意に作ること。

具体例を考えましょう。
下の写真を見てください。一番左の写真は、変換前の画像データです。この時は、table10.1を見て貰えば分かる通り、モデルによる認識結果がふさわしいものになっています。


これに対して、ノイズを加えたあとの画像(下中央の写真)を見てください。人間が見たところ何ら変化があるようには見えません。しかしながら、モデルに入力して認識させるとどうでしょう。結果はtable10.2のようになりました。ノイズが加えられた正しく画像データは正しく認識されていません。
この、小さな小さなノイズを加えることで、モデルが誤認識してしまうようなデータを作ることを敵対的サンプルと言います。