文・単語単位の評判分析とは何か

評判分析 (Sentiment Analysis) は、文章から書き手がポシティブな感情を抱いているか、ネガティブな感情を抱いているかを分類する問題です。SNSの投稿から商品の評判をモニタリングしたりなど商業的に使いやすいこと、分類問題として定式化しやすいなどの理由から、2000年台初頭から実施されはじめ¹、今でも自然言語のトップカンファレンスで1つの分野として成立しています²。

さて、そんな評判分析ですが、近年では単なるポシティブ/ネガティブの二値分類を超え、観点付きだったり (「味は美味しいが、値段が高い」)、もっと細かく感情を分類したり、多言語だったり、タスクを難しくする方向で発展を続けています³。そのような高難易度化した評判分析の中に、Sub-document level sentiment analysis⁴というタスクがあります。このタスクでは、例えばTwitter投稿単位のポジネガだけでなく、各文のポジネガを分類します。このようなことが可能になると、ポジネガが書いてる部分をピンポイントに抽出したり、賛否両論の記載がある文書から両側の意見を抽出したりできるようになります。

本記事では文・単語単位の評判分析に取り組む際に使えるデータセットをまとめます。

文・単語単位の評判分析のデータセット

Stanford Sentiment Treebank

最も有名な評判分析データセットの1つ。Stanford Parserで構文木解析した文の各フレーズごとにポジネガが振られています。

部分木ごとに5段階でポジネガがふってある	他の文とは独立してポジネガをアノテーションしている

※画像は論文より引用

公式ページ。ウェブサイトより直接ダウンロードできるほか、pythonなどから直接ダウンロードするツールも公開されています。アノテーション基準は論文にて言及されています。

Lazaridou et al.

ホテルレビューに対する観点付き+文単位 (厳密に言えば談話構造単位) のアノテーション。

詳細は論文に記載されています。著者のページからデータをダウンロードできます。

Täckström et al.

Amazonの商品レビューに対して文単位でポジネガをふったデータセット。 アノテーションは"positive", "negative", "neutral"に加え、"not related"という特殊なラベルが定義されています。

ダウンロードページ。アノテーションなどを説明した論文。

HATDOC

オーディオブックレビューのデータセット。他のデータと違い投稿全体のポジネガを判断するのにつかったのはどこかという基準でアノテーションされています (SSTとはちょうど逆の考え方)。

公式サイトからはダウンロードだけでなく可視化ツールも公開されています。アノテーション基準などを説明する論文。

BeerAdvocate

ビールへの論評に対する文単位のアノテーション。現在は公開されていないようです。同様のデータセットにratebeerというのがありますが、これも公開されていません。