はじめに

NIPs 2017からSHAPという、学習した複雑モデルを解釈説明するしくみ
[1] S. M. Lundberg, et. al. "A Unified Approach to Interpreting Model Predictions"
https://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions
のまとめ

SHAPの使用方法やロジックの簡単なまとめに関する記事は既にいくつか存在する
https://qiita.com/shin_mura/items/cde01198552eda9146b7
https://orizuru.io/blog/machine-learning/shap/
https://linus-mk.hatenablog.com/entry/2018/10/28/230410

またこちらはSHAPのみならず多くの手法をまとめたもの
https://www.slideshare.net/SatoshiHara3/ss-126157179

著者らのgithubコード
https://github.com/slundberg/shap

概要

1. 複雑なモデルを解釈・説明するしくみの１つ
2. 複雑なモデルを簡単なモデルで局所的に近似する
3. 具体的にはゲーム理論におけるシャープレイ値をモデルの説明に応用する

シャープレイ値

シャープレイ値に関して、ざっくりまとめると多分以下のような感じ。（間違ってたら教えて下さい）

１）$F$ 人が協力して行うゲームを考える。$f$ を貢献度を表す関数とする。全ての組み合わせに関して貢献度を計算する。

２）$F$ 人から $S$ 人を選んだ時点での貢献度は $f_S (x_S)$ 。これに $i$ さんが加わった場合の貢献度は $f_S (x_S)$ 。そうすると、この時の $i$ さんの貢献度は

f_{S \cup \{ i \} } (x_{S \cup \{ i \}}) - f_S (x_S)

と考えられる。これの全ての組み合わせに対する期待値を出したい。

３）まず $S$ を $S=S'$ と固定して考える。そうすると、$F$ 人から $i$ さんを除いた $F-1$ 人から $S' \subseteq F \backslash { i }$ 人を選ぶ組み合わせの数は

\frac{|F-1|! }{|S'|! (|F|-1-|S'|)!}

である。よって $S = S'$ の場合の $i$ さんの貢献度の期待値は

\sum_{S' \subseteq F \backslash \{ i \}} \frac{|S'|! (|F|-1-|S'|)!}{|F-1|! } [f_{S' \cup \{ i \} } (x_{S' \cup \{ i \}}) - f_{S'} (x_{S'})]

となる。$S'$ は $0$ から $F-1$ まで $F$ 個あるので、この値を更に $F$ で割って求める $i$ さんの貢献度の期待値とする。

\begin{eqnarray}
\phi_i &=& \frac{1}{|F|} \sum_{S \subseteq F \backslash \{ i \}} \frac{|S|! (|F|-1-|S|)!}{|F-1|! } [f_{S \cup \{ i \} } (x_{S \cup \{ i \}}) - f_{S} (x_{S})] \\
&=& \sum_{S \subseteq F \backslash \{ i \}} \frac{|S|! (|F|-1-|S|)!}{|F|! } [f_{S \cup \{ i \} } (x_{S \cup \{ i \}}) - f_{S} (x_{S})] 
\end{eqnarray}

シャプープレイ値を用いた説明の手順

書きかけ

reference

[2] 河崎氏「シャープレイ値（１）」
https://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=2ahUKEwi72-Sr1vLmAhUU_GEKHS3TCHcQFjABegQIARAC&url=http%3A%2F%2Fwww.ocw.titech.ac.jp%2Findex.php%3Fmodule%3DGeneral%26action%3DDownLoad%26file%3D201427708-175-0-76.pdf%26type%3Dcal%26JWC%3D201427708&usg=AOvVaw2vWDbkCXtovAnwqQVI720y