Spark mapとflatMapの違い
399 ワード
map:RDDの各要素に対してflatMapを変換する:RDDの各要素に対して変換してから扁平化する(すべてのオブジェクトを1つのオブジェクトにマージする)
Example:
dataには2行のデータがある:a,b,c 1,2,3
Example:
dataには2行のデータがある:a,b,c 1,2,3
scala>data.map(line1 => line1.split(",")).collect()
res11: Array[Array[String]] = Array(Array(a, b, c), Array(1, 2, 3))
scala>data.flatMap(line1 => line1.split(",")).collect()
res13: Array[String] = Array(a, b, c, 1, 2, 3)