Sparkのインストール(Macベース)

一、紹介

1.1内容

Macコンピュータにsparkを正常にインストールし(hadoopを事前にインストールする必要はありません)、jupyterでpysparkを使用してsparkを操作します.

1.2知識点

jdkの取り付け

sparkとpysparkのインストール

仮想環境のカーネル

1.3環境

本明細書のすべての環境変数は、.bash_profileまたは.zshrcで構成される.

vim ~/.bash_profile   #     
source ~./bash_profile   #     

一、Java JDKのdmgファイルをインストールする

Sparkは現在JDK-9をサポートしていないため、最新のJDK-8バージョンの公式サイトをダウンロード(遅い)国内ダウンロード(速い)ダウンロードが完了した後、jdk-8.dmgファイルをクリックしてインストールし、対応する環境変数を追加することを選択した.

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Content    s/Home"
export PATH="$JAVA_HOME/bin:$PATH"

Terminalにjavaと入力してインストール結果を表示

二、Spark&pysparkのインストール

2.1ダウンロード

> brew install apache-spark
> sudo -H pip install pyspark --user

2.2構成
apache-sparkのデフォルトのインストール場所:/usr/local/Cellar/apache-spark/2.2.0、バージョンは現在最新の2.2.0

# spark   

export SPARK_PATH="/usr/local/Cellar/apache-spark/2.2.0"
export PATH="$SPARK_PATH/bin:$PATH"

2.3運転
Terminalで、pysparkと入力してインストールが成功したかどうかを確認します.

三、pysparkのipython環境

jupyter notebookでpysparkを使用するには、環境変数を構成する必要があります.

#   python   ，  2 3
export PYSPARK_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/python3.5"
export PYSPARK_DRIVER_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/ipython3"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
alias pysbook='$SPARK_PATH/bin/pyspark'

terminalにpysparkまたはpysbook(別名)を入力し、spark付きipython notebookを直接実行できます.
参考リンク:【1】stack overflow上のjava環境構成【2】mac上にspark＋ipython環境を構築【3】Spark学習(一)−Sparkインストールおよび概要【4】mac下におけるSparkのインストールと使用【5】Sparkインストールと構成
 
【転載】:https://www.jianshu.com/p/f284b77289ca