spark1.63はspark 2にアップグレードする.3.1環境変数構成

なぜならspark 2.3 jdk 1が必要である.8のサポートにより、spark-submitとspark-sqlはjdkバージョンを指定する必要があります.具体的にはテスト例を参照してください.
1.パーソナルユーザプロファイルを変更する.bashrc,注釈以前のspark環境とjava環境,追加
vi ~/.bashrc #export SPARK_HOME=/opt/core/spark- 1.6 . 3 -bin-hadoop2. 6 #export JAVA_HOME=/usr/java/jdk1. 7 .0_67-cloudera export SPARK_HOME=/opt/core/spark- 2.3 . 1 -bin-hadoop2. 6 export JAVA_HOME=/usr/local/jdk1. 8 .0_161 export PATH=${SPARK_HOME}/bin:${JAVA_HOME}/bin:$PATH
保存後実行:source.bashrc
この構成で完了
 
 
2.計算円周率試験例を実行する:
spark-submit --class org.apache.spark.examples.SparkPi\--master yarn\--deploy-mode client\--driver-memory 4g\--executor-memory 2g\--executor-cores 1\--conf "spark.executorEnv.JAVA_HOME=/usr/local/jdk1.8.0_161"\--conf "spark.yarn.appMasterEnv.JAVA_HOME=/usr/local/jdk1.8.0_161"\--queue root.bigdata.statistics\/opt/core/spark/examples/jars/spark-examples*.jar 10
3.spark-sqlサンプルを起動する:
spark-sql --master yarn\--deploy-mode client\--driver-memory 2g\--executor-memory 8g\--executor-cores 4\--conf "spark.executorEnv.JAVA_HOME=/usr/local/jdk1.8.0_161"\--conf "spark.yarn.appMasterEnv.JAVA_HOME=/usr/local/jdk1.8.0_161"\--queue root.bigdata.statistics