pandasでカンマ区切りの値や正規化されたデータをダミー変数に変換を行う

19083 ワード
ダミー変数 機械学習 Python pandas Python テキストリンク

ダミー変数変換（Dummy Variable Encoding)は One-Hot Encoding とも呼ばれるデータ変換手法です。
pandas では get_dummies メソッドを使うと、以下のようにダミー変数へ変換できます。

df = pd.DataFrame({'user': [1,2,3],
                   'flag': ['a','b','a']})
pd.get_dummies(df['flag'])
a b
0 1 0
1 0 1
2 1 0

文字列の値をバイナリ値の複数列に変換します。

カンマ区切りの値が入っている場合の変換方法

次に、以下のようなカンマ区切りで値を持っているデータフレームでダミー変数への変換を行おうとする場合、

df = pd.DataFrame({'user': [1,2,3,4,5],
                   'opt1': [100,200,200,400,100],
                   'opt2': ['a', 'a,b', 'c', 'b,c', 'b']})
user opt1 opt2
0 1 100 a
1 2 200 a,b
2 3 200 c
3 4 400 b,c
4 5 100 b

対象のカラムをカンマ区切りで変換します。（わかりやすいように opt2_ プレフィックスをつけてます）

df2 = df['opt2'].str.get_dummies(sep=',').add_prefix('opt2_')
opt2_a opt2_b opt2_c
0 1 0 0
1 1 1 0
2 0 0 1
3 0 1 1
4 0 1 0

参考: pandas.Series.str.get_dummies

これを元のデータフレームから必要なカラムだけ取り出してから結合して完成です。

df3 = pd.concat([df[['user', 'opt1']], df2], axis=1)
user opt1 opt2_a opt2_b opt2_c
0 1 100 1 0 0
1 2 200 1 1 0
2 3 200 0 0 1
3 4 400 0 1 1
4 5 100 0 1 0

正規化されたデータの場合

リレーショナルデータベースからデータを取得する場合は、正規化されていることがほとんどです。
以下のように2つのテーブルのデータに対してダミー変数への変換を行います。

df1 = pd.DataFrame({'user': [1,2,3,4,5],
                   'opt1': [100,200,200,400,100]})
df2 = pd.DataFrame({'user': [1,2,2,3,4,4,5],
                    'opt2': ['a','a','b','c','b','c','b']})
display(df1, df2)
user opt1
0 1 100
1 2 200
2 3 200
3 4 400
4 5 100
user opt2
0 1 a
1 2 a
2 2 b
3 3 c
4 4 b
5 4 c
6 5 b

この場合、ダミー変数へ変換を行うと userの2と4が重複してしまいます。

pd.get_dummies(df2, columns=['opt2'], prefix='opt2')
user opt2_a opt2_b opt2_c
0 1 1 0 0
1 2 1 0 0
2 2 0 1 0
3 3 0 0 1
4 4 0 1 0
5 4 0 0 1
6 5 0 1 0

そのため、groupby して sum で集約します。

df3 = pd.get_dummies(df2, columns=['opt2'], prefix='opt2').groupby('user').sum()
user opt2_a opt2_b opt2_c
1 1 0 0
2 1 1 0
3 0 0 1
4 0 1 1
5 0 1 0

最後に元のデータにマージして完成です。

df4 = df1.merge(df3, on='user')
user opt1 opt2_a opt2_b opt2_c
0 1 100 1 0 0
1 2 200 1 1 0
2 3 200 0 0 1
3 4 400 0 1 1
4 5 100 0 1 0
Centosの下で多種のPHPはインストール方法を開拓します
【Educational Codeforces Round 58(Rated for Div.2)F.Trucks and Cities】DP+単調キュー最適化