アリ雲centos 7.3学生機取付spark

(1)インストールパッケージのダウンロードと解凍
公式サイトダウンロードインストールパッケージ(scala付き)
http://spark.apache.org/downloads.html
/usr/local/sparkを配置し、tar-xzvf spark-2.4を解凍する.5-bin-hadoop2.7.tgz  
(2)構成(jdkとhadoopは自分でインストールして、私の前のブログを見ることができます)
vim/usr/local/spark/spark-2.4.5-bin-hadoop2.7/conf/spark-env.shに加える

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/hadoop-2.7.5/bin/hadoop classpath)
export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.5/etc/hadoop

vim/usr/local/spark/spark-2.4を編集します.5-bin-hadoop2.7/conf/slaves
ホスト名を変更します.私のホスト名はmatserなのでmaterに変更します.ホスト名を変更したことがなければ、デフォルトのlocalhostでいいです.
ホスト名の変更に加えて、複数のホストの場合は、他のホストのホスト名を追加する必要があります.
(3)ファイアウォールの設置
systemctl stop firewalld.サービス停止サービス#firewall起動禁止
(4)起動
/usr/local/spark/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh

クライアント/usr/local/spark/spark-2.4を起動します.5-bin-hadoop2.7/bin/spark-shell

(5)テスト
Standaloneベース(例):
/usr/local/spark/spark-2.4.5-bin-hadoop2.7/bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi/usr/local/spark/spark-2.4.5-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.5.jar 1000

yarnベース(例):
/usr/local/spark/spark-2.4.5-bin-hadoop2.7/bin/spark-submit --master yarn --class org.apache.spark.examples.SparkPi/usr/local/spark/spark-2.4.5-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.5.jar 1000
コマンドはこう書きますが、サーバーの構成が低すぎて走れないようです.