jsonを含む Spark RDDを簡単にparseしてRDDにする。
- DataFrameを使って、case classを定義してなどでやるのをとりあえずおいておいて
- 単純にjson->scalaのデータにする。
- jupyter notebook上でやるなど
import scala.util.parsing.json.JSON
val jsonRdd = sc.textFile("なんか一行jsonになっているでかいデータ")
val parsedJsonRdd = rdd.map(JSON.parseFull(_))
parseJsonRdd.take(10).foreach(println)
Author And Source
この問題について(jsonを含む Spark RDDを簡単にparseしてRDDにする。), 我々は、より多くの情報をここで見つけました https://qiita.com/rikima/items/a89761a0d3200ce269dd著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .