spark学習ノート-sparkクラスタ構築(7)

sparkパッケージのインストール

1 1、 spark-1.3.0-bin-hadoop2.4.tgz  WinSCP   /usr/local   。
2 2、   spark ：tar zxvf spark-1.3.0-bin-hadoop2.4.tgz。
3 3、  spark   ：mv spark-1.3.0-bin-hadoop2.4 spark
4 4、  spark    
5 vi .bashrc
6 export SPARK_HOME=/usr/local/spark
7 export PATH=$SPARK_HOME/bin
8 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
9 source .bashrc

spark-envを変更します.shファイル

1、cd /usr/local/spark/conf
2、cp spark-env.sh.template spark-env.sh
3、vi spark-env.sh
export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=192.168.1.107
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

slavesファイルの変更
spark1
spark2
spark3
sparkクラスタのインストール
他の2つのノードで同じ構成を行い、scpを用いてsparkと.bashrcはspark 2とspark 3にコピーすればよい.
sparkクラスタの起動

1、 spark    sbin  
2、  ./start-all.sh
3、  jsp 8080              
4、  spark-shell      

 
転載先:https://www.cnblogs.com/HeQiangJava/p/6721031.html