Spark standloneのインストールと構成

sparkのインストールは簡単で、公式サイトに行ってクラスタhadoopバージョンと一致するファイルをダウンロードすればいいです.
解凍後、主にspark-evnを修正する必要がある.shファイル.
spark standloneを例にdn 1,nn 2をマスターとしてzookeeperを用いてHAを行う.
次のように構成されています.

export JAVA_HOME=/app/jdk17079
export SCALA_HOME=/app/scala2105
export SPARK_MASTER_IP=nn2
export SPARK_WORKER_MEMORY=512m
export HADOOP_CONF_DIR=/app/cdh23502/etc/hadoop/
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=nn1:2181,nn2:2181,dn1:2181 $SPARK_DAEMON_JAVA_OPTS"

dn 1ノードでは、SPARK_をMASTER_IPをdn 1に置き換えればよい.dn 1でmasterを起動すると失敗します.
サービスの開始(dn 1):
/app/spark151/sbin/start-all.sh
次にnn 2で起動:/app/spark 151/sbin/start-master.sh
できます.
Webui:デフォルトのアドレスはdn 1:8080です.
タスクの送信:

spark-submit --master spark://dn1:7077,nn2:7077 \
 --executor-memory 256M \
 --class org.apache.spark.examples.SparkPi \
 /app/spark151/lib/spark-examples*.jar 10