spark yarn modeのアプリのintellij上でjunit test caseの実行
- yarnのresource managerが読めないっておこられたら、yarn-site.xml等のhadoop config fileを src/main/resources以下に配置する。
- yarn-site.xmlでhost nameを設定しているが、logでは0.0.0.0:8032をRMProxyが読もうとしてエラー
- 環境変数を設定してもだめだった。。。
- original jarはtest case内で setJarsする。
- intellijで依存性を設定してもだめだった。。。
- これで、テストできる。
Test.scala
/**
* Created by mrikitoku on 16/02/18.
*/
class Test {
@Test
def testAsRdd(): Unit = {
val conf = new SparkConf().setAppName(s"Test")
// for yarn client mode
conf.setMaster("yarn-client")
// set original jars
conf.setJars(Array("./target/scala-2.10/ほげほげ.jar"))
conf.set("deploy-mode", "client")
val sc = new SparkContext(conf)
// target methods for test
val rdd = asRdd(sc, arg1, arg2...)
assertTrue(rdd.isDefined)
val c = rdd.get.count()
println(s"#rdd: $c")
}
}
Author And Source
この問題について(spark yarn modeのアプリのintellij上でjunit test caseの実行), 我々は、より多くの情報をここで見つけました https://qiita.com/rikima/items/8896b9a73b3775cf7b9c著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .