Spark成長の道(6)-Correlation

spark mlソースコード
SparkはDataFrame特性を徹底的にサポートする準備ができているので、mlのapiを再構築し、元のRDDベースのapiはすべてmllibに置かれていたが、いずれもメンテナンス段階であり、ml下のapiの使用を推奨している.

関連性

2つの相関があり、ピルソン積モーメント相関係数とスピルマン等級相関係があり、具体的な原理は自分で検索してください.主に2つのベクトルの相関性を判断します.

サンプル

import org.apache.spark.ml.linalg.{Matrix, Vectors}
import org.apache.spark.ml.stat.Correlation
import org.apache.spark.sql.{Row, SparkSession}


object CorrelationExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.appName("CorrelationExample").getOrCreate()
    spark.sparkContext.setLogLevel("WARN")
    val data = spark.sparkContext.makeRDD(Seq(
      Vectors.sparse(4, Seq((0, 1.0), (3, -2.0))),
      Vectors.dense(4.0, 5.0, 0.0, 3.0),
      Vectors.dense(6.0, 7.0, 0.0, 8.0),
      Vectors.sparse(4, Seq((0, 9.0), (3, 1.0)))
    ))
    import spark.implicits._
    val df = data.map(Tuple1.apply).toDF("features")
    val Row(coeff1: Matrix) = Correlation.corr(df, "features").head
    println("Pearson correlation matrix:
" + coeff1.toString)
    val Row(coeff2: Matrix) = Correlation.corr(df, "features", "spearman").head
    println("Spearman correlation matrix:
" + coeff2.toString)
  }
}

実行結果

Pearson correlation matrix:
1.0                   0.055641488407465814  NaN  0.4004714203168137  
0.055641488407465814  1.0                   NaN  0.9135958615342522  
NaN                   NaN                   1.0  NaN                 
0.4004714203168137    0.9135958615342522    NaN  1.0                 

Spearman correlation matrix:
1.0                  0.10540925533894532  NaN  0.40000000000000174  
0.10540925533894532  1.0                  NaN  0.9486832980505141   
NaN                  NaN                  1.0  NaN                  
0.40000000000000174  0.9486832980505141   NaN  1.0  

各行には4つの数があり、現在のいくつかのベクトルとSeqの4つのベクトルの相関を表しています.例えば、ピルソンの最初の行の結果1.0 0.055641488407465814 NaN 0.4004714203168137と自分の相関は1.0で、2番目の相関は0.055641488407465814で、3番目の相関は計算できません.4番目の相関0.055641488407465814です.