タスク概要

これまで研究されてきた自動採点（Automated Scoring）はおおまかに以下の2つのタスクに分かれている。

• Essay Scoring
  • 小論文のような長い記述問題を自動採点するタスク。1,2文ではなく、複数の文が集まって解答となる問題である
• Short Answer Scoring
  • 解答が1文ほどの長さ（多くても20~30文字程度）で、いくつかの採点基準がありそれに沿って得点が採点される問題である

自動採点タスクの特性

自動採点では、以下のような観点がタスクの特性としてある。

• 教師データのアノテーションが高コストである
  • ドメイン固有のデータに対して自動採点が求められることが多く、少量の教師データしかない・作れない
  • 試験・テストの問題数が多くなるほど、複数問題に渡って使用可能な汎用的な手法が求めれられる
• 機械学習モデルによってだた予測返すだけでなく、どう修正したらよいかのフィードバックがあると効果的である
  • 解答のどの箇所が間違っていたのかといった根拠を示すことにより、どのように直したらよいかわかる

Papers

大きく分けて、教師あり学習のもの、テキストの類似度を使っているものに分類できる。（また、その両方の組み合わせ）

• AUTOMATIC SHORT ANSWER GRADING AND FEEDBACK USING TEXT MINING METHODS
• Automated Essay Scoring: A Siamese Bidirectional LSTM Neural Network Architecture
• Co-Attention Based Neural Network for Source-Dependent Essay Scoring
• Pre-Training BERT on Domain Resources for Short Answer Grading
• Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring
• Inject Rubrics into Short Answer Grading System
• Investigating neural architectures for short answer scoring
• Identifying Current Issues in Short Answer Grading
• A Neural Approach to Automated Essay Scoring
  • Code: https://github.com/nusnlp/nea
• Fast and Easy Short Answer Grading with High Accuracy
  • Code: https://github.com/ma-sultan/short-answer-grader
• Automatic Text Scoring Using Neural Networks
  • Code: https://github.com/mankadronit/Automated-Essay--Scoring
• A Memory-Augmented Neural Model for Automated Grading
  • Code: https://github.com/siyuanzhao/automated-essay-grading
• Automated Scoring: Beyond Natural Language Processing
• Investigating Active Learning for Short-Answer Scoring
• The Impact of Training Data on Automated Short Answer Scoring Performance
• Generative Grading: Neural Approximate Parsing for Verifiable Automated Student Feedback
• Learning to Grade Short Answer Questions using Semantic Similarity Measures and Dependency Graph Alignments
• Unsupervised Learning of Discourse-Aware Text Representation for Essay Scoring
• Effective Feature Integration for Automated Short Answer Scoring
• Earth Mover’s Distance Pooling over Siamese LSTMs for Automatic Short Answer Grading
• 短答式記述答案の採点支援ツールの開発と評価
• Reducing Annotation Efforts in Supervised Short Answer Scoring
• Paraphrase Detection for Short Answer Scoring
• 記述答案採点の自動化に関する研究
• Doc2Vec を用いた国語記述式答案の自動評価
• 参照データと idf を利用した事前採点不要な小論文評価手法
• 採点ミス発見支援システムの開発 ～部分点と採点記号の認識を用いた採点ミス発見手法～

Survey

• Automated Essay Scoring: A Survey of the State of the Art
• Qiita: Automated Essay Scoring: A Survey of the State of the Art
• Machine Learning Approach for Automatic Short Answer Grading: A Systematic Review

言語処理学会

• NLP2020（論文公開されたら、リンク追加する）

  • 写真を用いた英文記述問題の低コストな自動採点方法の検討
  • アノテータのバイアスに頑健な小論文自動採点手法
  • ベイジアンニューラルネットワークを用いた記述式答案の自動採点
  • 記述式答案自動採点のための確信度推定手法の検討
  • 評価データのクラスタリングを用いた記述式答案自動採点のためのトランズダクティブ学習
  • 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法

• NLP2019

  • NLP2019 E4:テーマセッション: 試験問題をベンチマークとする言語処理
  • 小論文採点支援システムにおける文字誤り検出モジュールの構築
  • 英語ライティング学習支援のための前置詞誤り解説生成
  • 大規模実データにおける記述式問題自動採点システムの検証
  • 採点基準を利用した記述式答案の自動採点

• NLP2018

  • 小論文自動採点データ構築と理解力および妥当性評価手法の構築
  • 採点項目に基づく国語記述式答案の自動採点

• NLP2017

  • 自動採点スピーキングテストSJ-CATの能力推定の検証
  • 小論文の自動採点に向けたオープンな基本データの構築および現段階での自動採点手法の評価
  • 学習者英語のための綴り誤り訂正手法と綴り誤り分析への応用
  • 文法誤り訂正のためのリファレンスレス評価

• NLP2016

  • ニューラルネットワークを用いた記述式問題の自動採点
  • 述語項構造解析を用いた英語長文読解問題の自動解法

書籍

• Handbook of Automated Scoring: Theory into Practice

Dataset

• Kaggle ASAP dataset
  • 多くの論文でベンチマークとして使われている（英語のデータセット）
• Dataset for Japanese Short Answer Scoring （公開予定）

最近の動向をつかむための個人的おすすめ論文

以下の論文を読めば最近の動向はおそらく把握できると思われる。
Automated Scoringタスクとして、BERTなどによる転移学習の手法を使うことでなるべく少ないデータでより高精度を達成することが課題としてあるだろう。また、Active Learningなどの手法も合わせて使うことでより効果的なアプリケーションを作ることができると考えられる。

Neural network based methods

• Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring
  • Attentionにより、採点項目+全体のスコアを合わせて予測する手法を検証した論文
  • 採点項目に基づく国語記述式答案の自動採点
• Inject Rubrics into Short Answer Grading System
  • 採点基準として用意されたsentenceと、解答のsentenceの類似度を測る機構を組み込んだ手法を提案した論文
  • 採点基準を利用した記述式答案の自動採点
• Investigating neural architectures for short answer scoring
  • 複数アーキテクチャのニューラルネットでどれが性能が良いのかを検証した論文
• A Neural Approach to Automated Essay Scoring
  • RNN basedなニューラルネットをAutomated Essay Scoringに適用した論文
  • Code: https://github.com/nusnlp/nea
• Fast and Easy Short Answer Grading with High Accuracy
  • Code: https://github.com/ma-sultan/short-answer-grader
• Automatic Text Scoring Using Neural Networks
  • Code: https://github.com/mankadronit/Automated-Essay--Scoring
• A Memory-Augmented Neural Model for Automated Grading
  • 自動採点にMemory機構を使った論文
  • Code: https://github.com/siyuanzhao/automated-essay-grading

データ量、少量データに関連した論文

• Pre-Training BERT on Domain Resources for Short Answer Grading
• The Impact of Training Data on Automated Short Answer Scoring Performance
  • データ量に応じて、精度のパフォーマンスがどう変化するか検証した論文
• Investigating Active Learning for Short-Answer Scoring
• Reducing Annotation Efforts in Supervised Short Answer Scoring