spark2.0+hadoop2.7.1シンプルな導入
hadoopが正常に配置されていることを保証し、以下はspark配置のためにメモを取る:1、scala-2.1.8をインストールする.tgz
1)tar-xvzf scala-2.1.8 mv scala-2.1.8/usr 2)環境変数を構成し、/etc/profileに次の文を追加します:export SCALA_HOME=/usr/scala-2.11.8 export PATH= PATH: SCALA_HOME/bin
2、sparkを取り付ける
1)tar-xzvf spark-2.0.0-bin-hadoop 2.7.tgz mv spark-2.0.0-bin-hadoop2.7/usr/spark2.0環境変数の構成:(/etc/profile)export SPARK_HOME=/usr/spark2.0 export PATH= PATH: SPARK_HOME/bin 2)spark環境(spark 2.0/conf)の下にspark-envを配置する.shファイル:mv spark-env.sh.template spark-env.shはspark-env.shに追加:
slavesファイルの構成:
mv slaves.template slavesノードnode 1 node 2からslavesに追加
3)/etc/profileとspark 2.0フォルダをノードscp-r spark 2にコピーする.0 node1:/home/hadoop
2、実行インスタンスsparkが持っているLocalPiインスタンスを実行する:sparkのbinディレクトリに入り、run-exampleを見つける.sh、次のコマンドを入力します.
1)tar-xvzf scala-2.1.8 mv scala-2.1.8/usr 2)環境変数を構成し、/etc/profileに次の文を追加します:export SCALA_HOME=/usr/scala-2.11.8 export PATH= PATH: SCALA_HOME/bin
2、sparkを取り付ける
1)tar-xzvf spark-2.0.0-bin-hadoop 2.7.tgz mv spark-2.0.0-bin-hadoop2.7/usr/spark2.0環境変数の構成:(/etc/profile)export SPARK_HOME=/usr/spark2.0 export PATH= PATH: SPARK_HOME/bin 2)spark環境(spark 2.0/conf)の下にspark-envを配置する.shファイル:mv spark-env.sh.template spark-env.shはspark-env.shに追加:
export SCALA_HOME=/usr/scala-2.11.8
export JAVA_HOME=/usr/java
export HADOOP_HOME=/usr/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=master
slavesファイルの構成:
mv slaves.template slavesノードnode 1 node 2からslavesに追加
3)/etc/profileとspark 2.0フォルダをノードscp-r spark 2にコピーする.0 node1:/home/hadoop
2、実行インスタンスsparkが持っているLocalPiインスタンスを実行する:sparkのbinディレクトリに入り、run-exampleを見つける.sh、次のコマンドを入力します.
hadoop@master:/usr/spark2.0/bin$ ./run-example org.apache.spark.examples.LocalPi spark://master:7077
Pi is roughly 3.14496