$ sbt << 'EOF'
set scalaVersion := "2.11.7"
set libraryDependencies += "org.apache.spark" %% "spark-mllib" % "1.5.1"
set libraryDependencies += "com.atilika.kuromoji" % "kuromoji-ipadic" % "0.9.0"
console

import java.io.File
import scala.collection.JavaConversions._
import org.apache.spark.{SparkConf,SparkContext}
import org.apache.spark.mllib.clustering.{LDA,DistributedLDAModel}
import org.apache.spark.mllib.feature.{HashingTF,IDF}
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.rdd.RDD
import com.atilika.kuromoji.ipadic.{Token,Tokenizer}

val conf = new SparkConf().setAppName("LDASample").setMaster("local[2]")
val sc = new SparkContext(conf)

// 文書をロードして形態素解析 (1行1文書で保存されているものとする)
val file = new File("samples.txt")
val pos2 = Set("代名詞", "数", "非自立", "特殊", "接尾", "接続詞的", "動詞非自立的")
val docs = sc.textFile(file.toURI.toURL.toString).map{ t =>
  val tokenizer = new Tokenizer()
  tokenizer.tokenize(t).filter{ tk =>
    tk.getPartOfSpeechLevel1 == "名詞" && ! pos2.contains(tk.getPartOfSpeechLevel2) && tk.getBaseForm != "*"
  }.map{ _.getBaseForm }
}.cache()

// コーパス作成: 単語⇄INDEX 相互変換マップ
val term2Id = docs.flatMap{ identity }.distinct.zipWithIndex.map{ case (term, index) => (term, index.toInt) }.collectAsMap
val id2Term = term2Id.map{ case (term, index) => (index, term) }.toMap

// 文書ごとに単語の出現頻度を特徴ベクトルとして作成
val termCounts = docs.zipWithIndex.map{ case (terms, docId) =>
  val counts = terms.groupBy{ identity }.mapValues{ _.size }.map{ case (term, count) =>
    (term2Id(term).toInt, count.toDouble)
  }
  (docId, Vectors.sparse(term2Id.size, counts.toSeq))
}

// トピックに該当する3つのクラスタを抽出
val lda = new LDA().setK(3).setMaxIterations(50)
val ldaModel = lda.run(termCounts)
ldaModel.describeTopics(maxTermsPerTopic = 10).foreach{ case (terms, termWeights) =>
  println("******************")
  terms.zip(termWeights).foreach{ case (term, weight) =>
    println(f"${id2Term(term.toInt)}%s\t$weight%.3f")
  }
}

sc.stop()
:quit
exit
EOF

******************
お願い  0.024
質問    0.011
場合    0.011
月      0.009
メール  0.008
回答    0.007
サイト  0.006
電話    0.005
可能    0.005
表示    0.005
******************
質問    0.016
お願い  0.013
使用    0.011
方法    0.011
補足    0.010
パソコン        0.009
問題    0.008
表示    0.008
設定    0.007
製品    0.007
******************
人      0.025
自分    0.021
今      0.013
仕事    0.012
前      0.010
好き    0.010
女性    0.009
会社    0.009
男性    0.008
気      0.008