はじめに　ー　週末研究ノートとは？

個人的に研究的な活動をやるにあたり、オープンにしてみたら面白いかもと思い、自分が興味を持っている ざっくりテーマについて、これから、ゆるい週末研究を公開していこうと思います。（有識者の方のアドバイスも、ちょっとというかかなり期待してます！笑）

どこかの権威的な学会やジャーナルなどで発表する予定はないため、万が一、私の記事を利用する際には自己責任でお願いします。そんな人はいないと思いますが、念のため。

今回のサマリ （TL; DR）

• PR　曲線で可視化
• LIME を使った可視化
  • デフォルトでは、日本語には対応していないのでちょっと工夫する
  • 単語集合をハイライトする方法とオリジナル文書をハイライトする方法で可視化する

環境

• Docker Desktop: 4.0.1(68347)
  • コンテナのメモリ： 12G
  • 自分の環境では、コンテナのメモリを 12GiB まで拡張した
• Docker: version 20.10.8
• docker-compose: version 1.29.2
• Python: 3.8.10
• GitHub リポジトリ

今回の週末研究ノート

今回は、前回正答率を評価したパイプラインを使って、可視化を試みます。
PR 曲線 を表示し、LIME　による可視化を行い、簡易な解釈をつけました。

ldcc

PR Curves

• Recall - Precision グラフ

AP（Average Precision） は、かなりよく、特にコメントはない感じ。

• Threshold - Precision/Recall グラフ

livedoor-homme、peachy、dokujo-tsushin あたりは、必要に応じて境界値を調整しても良さそう。一方で、smax は、Precision と Recall　が重なり過ぎている印象を受ける（実際、後の例で見るが、判定をチートしているとわかる。）

LIME による可視化

単語集合のハイライト

正判定のテキスト

movie-enter

まずは、movie-enter について。

movie-enter と判定した単語は、「映画」、「本作」、「劇場」などの単語であるが、どの単語もかなり影響度が小さいことがわかる。塵も積もれば山となるではないが、影響度がわずかなものが積み重なって予測結果に至ったと考えられる。

smax

次は、smax について。

smax は、「エスマックス」、「関連リンク」、「MAX」などのフッター情報をもとに判定していそうだとわかる、これは一般的には欲しい結果ではない（中身の内容で判定したいことが多いはずな）ので、フッターを除く前処理を入れて、再度学習し直す方が良いとわかります。

誤判定のテキスト

　正解: livedoor-homme　／ 予測: kaden-channel

予測では、誤答ラベル（kaden-channel）の0.77 に対し、正答ラベル（livedoor-homme）が 0.22 と、多少は正答ラベルの可能性も示唆している。「話題」という単語が kaden-channel である強い理由になっていそうであり、逆に livedoor-homme の強い否定の原因になっていそうとわかる。一つの仮説として考えられるのは、学習データの kaden-channel には、「話題」という単語が多く、判定の強い原因になっている、と考えられる点である。この仮説を確認するには、「話題」という単語を除くことであるが、根本的な解決とは言い難いため、「話題」という単語で判断しないように学習を誘導する手法を考えた方がより汎用的で運用上も辞書管理をしなくてよくなりそうである。

　正解:livedoor-homme　／ 予測:movie-enter

オリジナル文書へのハイライト

前半は概ね似た結果なので、ハイライトのみ確認します。

正判定のテキスト

movie-enter

smax

誤判定のテキスト

　正解: livedoor-homme　／ 予測: kaden-channel

　正解:livedoor-homme　／ 予測:movie-enter

ライブドアニュースコーパス（ldcc）に関する結果HTMLはこちら

aozora

青空文庫の分類に対しても同じように見ていきます。

PR Curves

• Recall - Precision グラフ

• Threshold - Precision/Recall グラフ

AP(Average Precision)が低めなのが、NDC 915、NDC 914、NDC 913 です。

ちなみに、NDC　の分類は、以下のようになっています。

911 詩歌 　(1,689件)
915 日記．書簡．紀行 　(656件)
913 小説．物語 　(6,329件)
K913: 子ども・小学生向けの本
914 評論．エッセイ．随筆 　(4,366件)

NDC 915　の 日記、NDC 914 の評論、エッセイ、NDC 913 の小説、物語の区別が難しいということのようです。確かに、物によっては区別難しそうだなという感じもするので、違和感がない結果です。

LIME による可視化

単語集合のハイライト

正判定のテキスト

NDC K913

NDC K913 子供向けの本であるが、「い」、「お」、「の」、「しまい」などの「ひらがな」が判定原因になっているように見える。今回の前処理では、名詞、動詞などに絞っているので、これらの「ひらがな」が妥当かは原文から判断する必要がある。

NDC 915

NDC 915 は、日記、書簡、紀行などで、「し」、「雨」、「下り」、「午後」などが主な判定原因になっているように見える。

誤判定のテキスト

　正解:　NDC K913 ／ 予測: NDC 911

正解ラベルは、NDC 913 小説、物語であるが、予測は NDC 911 詩歌 で、若干 NDC 914 評論、エッセイ、随筆 と判定している。
NDC 911 と誤判定した原因は、「海」、「改」、「ページ」、「船」などの単語であり、それぞれ個別に見ると、確かに詩歌にも出そうであると考えられ、誤判定につながってそうな感じがする。

　正解:　NDC 915　／ 予測: NDC 914

誤答ラベル NDC 914 評論、エッセイ、随筆 が 0.59 に対して、正解ラベル NDC 915 日記、書簡、紀行の 0.41 と、惜しい結果になっている。
単語を見ると、「私」が 0.24 と他の単語よりも大きいことから、「私」という単語に引っ張られて、NDC 914 評論、エッセイ、随筆 と判定していると考えられる。

オリジナル文書へのハイライト

前半は概ね似た結果なので、ハイライトのみ確認します。

正判定のテキスト

NDC K913

原文を見ると、一部ふりがなの箇所もハイライトされていることから、子供向けの本にふりがながふってあり、ひらがなの多さが特徴として利用されている可能性が見て取れます。ふりがなを除く前処理をした後、どう判定されるか見てみたいところです。

NDC 915

誤判定のテキスト

　正解:　NDC K913 ／ 予測: NDC 911

なぜ、勇者や少佐などが、NDC 911 詩歌 と判定されているのは違和感がありますね。どの学習データ（文書）の影響を受けているかを調査したいところです。

　正解:　NDC 915　／ 予測: NDC 914

青空文庫（aozora）に関する結果HTMLはこちら

今回のパイプライン

LIME を日本語に対応させるために、パイプラインを以下のように工夫した。

実際の Notebookのコードは、こちら

まとめ

• 可視化により、改善点やもう少し調査したい次のアクションが明確になる
• LIME を使う時に、日本語に対応させるため、パイプラインを工夫する必要がある
• レポーティングを想定し、HTML には、入力コードが表示されないように、工夫してみた

参考文献

• LIME　Tutorials
• lime package documentation
• LIME & SHAP
-機械学習モデルによる予測結果の説明性-