電子商取引ユーザー行為分析ビッグデータプラットフォーム関連シリーズ7-sparkインストール

2062 ワード
scala スパーク ビッグデータ 電気商
1、Spark取付
1.1、ダウンロード、解凍
1.2、環境変数(/etc/profileまたは~/.bashrc)を構成し、環境変数を有効にする
1.3、spark-envを配置する.sh
  • spark-env.shは$SPARK_にありますHOME/conf
  • cp spark-env.sh.template spark-env.sh
  • は、以下のように構成する
    • .
    export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

    1.4、インストール完了
    実戦チュートリアルはyarnベースのsparkクラスタであるため、standloneモードのように各サーバにsparkをインストールする必要はなく、sparkの主従構造サービスを使用して、すべてのリソーススケジューリングはyarnによって完了します.
    1.5、yarn-clientモードの検証
    SPARKHOME/bin/spark−submit –classorg.apache.spark.examples.JavaSparkPi –masteryarn−client –num−executors4 –driver−memory1g –executor−memory1g –executor−cores4  SPARK_HOME/lib/spark-examples-1.5.1-hadoop2.4.0.jar\
    1.6 yarn-clusterモードの検証
    SPARKHOME/bin/spark−submit –classorg.apache.spark.examples.JavaSparkPi –masteryarn−cluster –num−executors4 –driver−memory1g –executor−memory1g –executor−cores4  SPARK_HOME/lib/spark-examples-1.5.1-hadoop2.4.0.jar\
    2、自分に穴をあける
    2.1、検証時に投げた異常:java.lang.ClassNotFoundException: org.apache.spark.example.JavaSparkPi
    この問題はまる2晩私をやって、各種は資料を探して、甚だしきに至ってはまた招待状を出して助けを求めて、大神の心の中で黙々とN文をののしったことがあると思います.
    その原因を追うのは、怠け者で、他人のコードを直接コピーするのが好きで、しかも検査しないからだ.さっき、やっと我慢できずにsparkのexampleパッケージを減圧して、問題を発見しました.元はクラス名のスペルミスが原因でした.誤記スペル:org.apache.spark.example.JavaSparkPi(jarパッケージには確かにこのクラスはありません.気まずいですね)正確なスペル:org.apache.spark.examples.JavaSparkPi(つまりsを1つ少なくスペルした)
    だからこれからも自分を信じて、手を出さなければなりません.
    注記:本明細書のすべての$SPARK_HOMEは各サーバーのSPARKへのインストール経路を示しています
    このシリーズのメモ:1.電子商取引ユーザー行為分析ビッグデータプラットフォーム関連シリーズ1-環境紹介2.電子商取引ユーザー行動分析ビッグデータプラットフォーム関連シリーズ2-HADOOP環境構築2.電子商取引ユーザー行動分析ビッグデータプラットフォーム関連シリーズ3-HIVEインストール3.電子商取引ユーザー行動分析ビッグデータプラットフォーム関連シリーズ4-ZOKEEEPERインストール4.電子商取引ユーザー行動分析ビッグデータプラットフォーム関連シリーズ5-KAFKAインストール5.電子商取引ユーザー行動分析ビッグデータプラットフォーム関連シリーズ6-flumeインストール6.電子商取引ユーザー行為分析ビッグデータプラットフォーム関連シリーズ7-sparkインストール
    JAvaはフォルダの下のすべてのファイルのコピーを実現します
    IPエイリアス