Spark Win 10における環境構築過程


前言
 この章では、WIN 10のもとで、どのようにspark環境構築を実現するかを紹介します。
 本章の概要
 1、バージョン説明
 2、環境準備:
  • jdk構成。
  • scalaのインストールと配置。
  • sparkの設置と配置。
  • hadoopのインストールと構成。
  •  バージョンの説明
     jdk:1.8
     scala:2.1.8
     スパーク:2.3.0
     hadoop:2.8.3
    環境の準備
     jdkプロファイル
     1、JAVA_を配置するホームとPath:

     Path
     
     2、認証設定:

    scalaインストールと配置
     1、scalaダウンロード:
     公式アドレスにアクセス
      http://www.scala-lang.org/download/2.11.8.html
     
     2、設定Path:
     
     3、認証設定:
       
     Spark設置と配置
     1、sparkダウンロード:
     公式アドレスにアクセス
      http://spark.apache.org/downloads.html
     
     公式推薦のアドレスを選んでダウンロードできます。他の住所も使えます。
     
    2、D盤に解凍する
     
    3、設定Path:
     
    4、spark-shellでSparkのインタラクティブコマンドラインモードに入る:
     
    以上のように、対応するspark、scala、javaバージョンが見られ、hadoopによる異常情報も見られます。
    Hadoopのインストールと配置
     1、hadoopダウンロード
     公式訪問
      http://hadoop.apache.org/releases.html
     
     ダウンロードページに入り、下記の住所を提案します。
     
     2、ストレス解消
     
    3、HADOOP_を配置するHOME&Path:
     
     パス:
     
    4、wintutilsダウンロード:
      https://github.com/steveloughran/winutils
     
     対応バージョンのbinディレクトリをダウンロードして直接にローカルbinディレクトリを置き換えればいいです。
    5、この時引き続きspark-shellはsparkコマンドラインインタラクティブモードに入ります。
     
     上記の異常メッセージは発生しません。
     6、コンソールに訪問するwebuiは以下の通りである。

    ここでSparkのWin 10の環境構築に関する記事を紹介します。win 10 Sparkの環境構築に関する内容は以前の文章を検索したり、下記の関連記事を見たりしてください。これからもよろしくお願いします。