jupyterでyarn-clientのsparkを使う設定
- sparkを使うにはtoreeを使う
- defaultで --master local[2]になっているのをyarn-clientに変える
- toreeの設定fileは/usr/local/share/jupyter/kernels/toree/kernel.jsonにある。
- これでsparkのspark-submitのオプション指定をしている。
- masterをyarn-clientに変えるには下記のように変更する。
/usr/local/share/jupyter/kernels/toree/kernel.json
{
"env": {
"SPARK_HOME": "/usr/local/spark",
"SPARK_OPTS": "--master=yarn-client --driver-java-options=-Xms1024M --driver-java-options=-Xmx8096M --driver-java-options=-Dlog4j.logLevel=info",
"CAPTURE_STANDARD_ERR": "true",
"SEND_EMPTY_OUTPUT": "false",
"PYTHONPATH": "/usr/local/spark/python:/usr/local/spark/python/lib/py4j-0.8.2.1-src.zip",
"MAX_INTERPRETER_THREADS": "16",
"CAPTURE_STANDARD_OUT": "true"
},
"argv": [
"/usr/local/share/jupyter/kernels/toree/bin/run.sh",
"--profile",
"{connection_file}"
],
"language_info": {
"name": "scala"
},
"display_name": "Toree",
"codemirror_mode": "scala"
}
Author And Source
この問題について(jupyterでyarn-clientのsparkを使う設定), 我々は、より多くの情報をここで見つけました https://qiita.com/rikima/items/ed79edef453e0e3c875e著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .