【02】Scalaクラスタ構成

1194 ワード

1、プロファイル
/home/scipio/spark-1.0.0-bin-hadoop1/conf/spark-env.sh
/home/scipio/spark-1.0.0-bin-hadoop1/conf/slaves
/home/scipio/spark-1.0.0-bin-hadoop1/conf/spark-defaults.conf
spark-envからsh.template,spark-defaults.conf.templateコピー1部
2、構成パラメータ

export JAVA_HOME = /usr/lib/jvm/java-7-oracle

export SPARK_MASTER_IP = 127.0.0.1
export SPARK_WORKER_CORES = 8
export SPARK_WORKER_INSTANCES = 1

export SPARK_WORKER_MEMORY = 20g
export SPARK_MASTER_PORT=8088

export SPARK_SUBMIT_OPTS="-verbose:gc -XX:-PrintGCDetails -XX:+PrintGCTimeStamps"

#export SPARK_SUBMIT_OPTS = "-Dspark.executor.memory=10g"

slavesの構成

192.168.2.241
192.168.2.242
192.168.2.243

appパラメータの構成

# Example:
# spark.master            spark://master:7077
# spark.eventLog.enabled  true
# spark.eventLog.dir      hdfs://namenode:8021/directory
# spark.serializer        org.apache.spark.serializer.KryoSerializer
# spark.local.dir         /data/tmp_spark_dir/
# spark.executor.memory   10g

3、クラスターの起動

/home/scipio/spark-1.0.0-bin-hadoop1/bin$ MASTER=spark://host:port ./spark-shell

エラー

githubで過去にコミットした時点に戻す