Adversarial Validation De 特徴量選択
はじめに
機械学習は大前提として、学習データとテストデータの分布が同じである必要があります。
練習時の的が、テスト時には違うところにおいてあっては的に当てることはできません。
そこで Adversarial Validation を利用しデータ分布が異なる特徴量を炙り出すことで上記の的の位置を揃えることができます。
今回はそんな特徴量選択しての Adversarial Validation を紹介します。
Adversarial Validation
Adversarial Validation について説明します。
手順
- 学習データに0、テストデータに1とそれぞれ適当なラベルをつけ、一つのデータに連結
- 上記データセットを学習
- 学習済みモデルから重要度を算出
- 重要度の高い特徴量を削除
このとき、重要度が高い変数とは
学習とテストを分けることができるデータ
→ 学習とテストで分布が明らかに違うデータとしてみなすことができます。
このような変数を取り除くことで学習データとテストデータの分布を寄せようという特徴量選択方法になります。
実験
今回はタイタニックデータに人口的な分布の異なる特徴量を加えて効果を実験していきたいと思います。
https://www.kaggle.com/c/titanic/overview
前処理は以下を参照しました。
https://www.kaggle.com/arthurtok/introduction-to-ensembling-stacking-in-python
人口データの作成
今回は特に学習データとテストデータの分布が異なる特徴量 feature_1
を作成しました。
Adversarial Validation
以下は人口的な特徴量の作成とテストスプリットになります。
今回は簡易的に hold-out でスプリットしますが、データ分布に強く依存するため,K-Fold cross validation をした方がより正確な評価が出ると思います.
# 人口データ作成
train['feature_1'] = np.random.normal(loc=0, scale=1, size=len(train))
test['feature_1'] = np.random.normal(loc=3, scale=1, size=len(test))
# ラベル作成
train['test'] = 0
test['test'] = 1
# シャッフル
df = pd.concat([train, test]).drop(['Survived'], axis=1)
df = df.sample(frac=1, random_state=9).reset_index(drop=True)
# テストスプリット
split = int(len(df)* 9/10)
train = df.iloc[:split]
test = df.iloc[split:]
このデータを LightGBM で学習させます.
roc_auc : 0.9643574297188755
と,かなりの精度で学習データとテストデータが判別できてしまっています.
ここで gain
による重要度をみてみましょう
学習データとテストデータでは上記のように feature_1
を見れば大まかに予測できてしまっているようです.
このように, Adversarial Validation では,学習データとテストデータの分布が大きく異なる特徴量をあぶり出すことができます.
この feature_1
を除いてもう一度,学習データとテストデータを分類してみます.
roc_auc : 0.5670180722891566
このようにテストデータと学習データが十分に割り振れていないため,学習データとテストデータの分布が同じ事がわかります.
gain
重要度
おわりに
今回は Adversarial Validation を用いた特徴量削減を行いました.
注意点としては以下です.
- 重要度にバイアスがかかる場合がある https://aotamasaki.hatenablog.com/entry/bias_in_feature_importances
- 時系列データでは値が削除されすぎてしまう
頭がいい特徴量削減だなと思いました.
参照
Author And Source
この問題について(Adversarial Validation De 特徴量選択), 我々は、より多くの情報をここで見つけました https://qiita.com/TsuchiyaYutaro/items/19381dbf27446672720a著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .