Spark Win 10における環境構築過程
前言
この章では、WIN 10のもとで、どのようにspark環境構築を実現するかを紹介します。
本章の概要
1、バージョン説明
2、環境準備: jdk構成。 scalaのインストールと配置。 sparkの設置と配置。 hadoopのインストールと構成。 バージョンの説明
jdk:1.8
scala:2.1.8
スパーク:2.3.0
hadoop:2.8.3
環境の準備
jdkプロファイル
1、JAVA_を配置するホームとPath:
Path
2、認証設定:
scalaインストールと配置
1、scalaダウンロード:
公式アドレスにアクセス
http://www.scala-lang.org/download/2.11.8.html
2、設定Path:
3、認証設定:
Spark設置と配置
1、sparkダウンロード:
公式アドレスにアクセス
http://spark.apache.org/downloads.html
公式推薦のアドレスを選んでダウンロードできます。他の住所も使えます。
2、D盤に解凍する
3、設定Path:
4、spark-shellでSparkのインタラクティブコマンドラインモードに入る:
以上のように、対応するspark、scala、javaバージョンが見られ、hadoopによる異常情報も見られます。
Hadoopのインストールと配置
1、hadoopダウンロード
公式訪問
http://hadoop.apache.org/releases.html
ダウンロードページに入り、下記の住所を提案します。
2、ストレス解消
3、HADOOP_を配置するHOME&Path:
パス:
4、wintutilsダウンロード:
https://github.com/steveloughran/winutils
対応バージョンのbinディレクトリをダウンロードして直接にローカルbinディレクトリを置き換えればいいです。
5、この時引き続きspark-shellはsparkコマンドラインインタラクティブモードに入ります。
上記の異常メッセージは発生しません。
6、コンソールに訪問するwebuiは以下の通りである。
ここでSparkのWin 10の環境構築に関する記事を紹介します。win 10 Sparkの環境構築に関する内容は以前の文章を検索したり、下記の関連記事を見たりしてください。これからもよろしくお願いします。
この章では、WIN 10のもとで、どのようにspark環境構築を実現するかを紹介します。
本章の概要
1、バージョン説明
2、環境準備:
jdk:1.8
scala:2.1.8
スパーク:2.3.0
hadoop:2.8.3
環境の準備
jdkプロファイル
1、JAVA_を配置するホームとPath:
Path
2、認証設定:
scalaインストールと配置
1、scalaダウンロード:
公式アドレスにアクセス
http://www.scala-lang.org/download/2.11.8.html
2、設定Path:
3、認証設定:
Spark設置と配置
1、sparkダウンロード:
公式アドレスにアクセス
http://spark.apache.org/downloads.html
公式推薦のアドレスを選んでダウンロードできます。他の住所も使えます。
2、D盤に解凍する
3、設定Path:
4、spark-shellでSparkのインタラクティブコマンドラインモードに入る:
以上のように、対応するspark、scala、javaバージョンが見られ、hadoopによる異常情報も見られます。
Hadoopのインストールと配置
1、hadoopダウンロード
公式訪問
http://hadoop.apache.org/releases.html
ダウンロードページに入り、下記の住所を提案します。
2、ストレス解消
3、HADOOP_を配置するHOME&Path:
パス:
4、wintutilsダウンロード:
https://github.com/steveloughran/winutils
対応バージョンのbinディレクトリをダウンロードして直接にローカルbinディレクトリを置き換えればいいです。
5、この時引き続きspark-shellはsparkコマンドラインインタラクティブモードに入ります。
上記の異常メッセージは発生しません。
6、コンソールに訪問するwebuiは以下の通りである。
ここでSparkのWin 10の環境構築に関する記事を紹介します。win 10 Sparkの環境構築に関する内容は以前の文章を検索したり、下記の関連記事を見たりしてください。これからもよろしくお願いします。