最近、Sparkを始めたので備忘録がてら入門向け記事を書いていきます。
まずは開発環境から。

なお、特に依存するところは無いと思いますが、
Windows 10が私の開発機なので、自動的にWindows10対応版のSpark開発環境構築手順となります。

はじめに

今回はSparkの開発環境はWindows上で作ります。
いくつか「インストール」系の記事を探した感じだと環境変数やHadoop/Sparkのインストールをしていますが、
単純に開発するだけなら、現在は不要な気がします。クラスタ組むためには必要な気がしますが、それはまた別な話。
ファイル操作をするためにはwinutils.exeだけは入れる必要があるみたい。

また、開発言語はScalaのイメージが強いですが、Javaでの開発も可能です。※ 他にもPythonとかRも選べます。
Java8のラムダ式の導入により、ずいぶんと書きやすくなったのでJavaでの開発も結構アリかと思います。

ただ、Javaのラムダ式に対応していないAPI、Scalaのimlicit def等を前提としたDSLライクなAPIも結構もあります。
なにより、多くのドキュメントはScalaやPythonをベースに書かれてる事が多いので、情報収集を含めると少し開発は面倒かもしれません。
その反面、開発言語を変えなくても良いので、ある程度人数の多い開発チームならJavaは有力な選択肢となります。

Scalaの開発環境

まずは定番中の定番、Scalaでの開発環境。
IntelliJ IDEA + sbt + Lightbend Activatorを使います。
Activatorはビルドプロジェクトのテンプレートで、よく使う構成がサクッと作れます。
これで「どんなsbt書けば良いんだ？」って毎回悩まなくていいので素敵ですね！

まずはIntelliJのインストールをします。
まだ、インストールしてない方は、こちらから、ダウンロードしてインストールしてください。

続いて、IntelliJのScalaプラグインを入れます。

1. IntelliJ 起動
2. File -> Settings -> Plugins
3. 「Scala」プラグインをインストール

次にプロジェクト作成です。
ActivatorをScalaプラグインがサポートしているので、そちらで作ります。
このタイミングでScalaやSaprk関連のモジュールが自動でインストールされるので、結構時間がかかります。

1. File -> New -> Project -> Scala -> Activator
2. Project Nameを設定 ※ 「-」とかは使えないのでキャメルケースで。
3. 「Spark Tutorial provides a quick introduction to using Spark」を選択
4. Finish

Javaの開発環境

いくつかの理由によりSparkをScalaではJavaで開発したいときもあるでしょう。
安心してください。SparkはJavaもサポートしてます。
IntelliJでの開発も可能ですが、個人的な趣味でJavaではNetBeans + Mavenでの開発環境を構築します。

まずはNetBeansをインストールします。
まだ、インストールしてない方は。こちらから、ダウンロードしてインストールしてください。

次にプロジェクトの作成です。
Mavenで作成することになります。

1. File -> New Project -> Maven -> Java Application
2. 「Project Name」を設定
3. 「Project」の「Dependencies」を右クリックして「Add Dependencies」をクリック
4. 「org.apache.spark % spark-core_2.11 % 1.6.1」と「org.apache.spark % spark-sql_2.11 % 1.6.1」を依存に追加
5. Finish

winutils.exeのインストール

最低限の機能だけなら、IDEだけで動作するのですが、例えばHDFSを使おうとするとそれだけではエラーになります。
Windowsであればwinutils.exeを入れることで回避できるので、その方法を記載します。

まずは下記からダウンロードしてください。
http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

続いて下記ディレクトリを作成。分かりやすくCドライブ直下にしましたが、場所はどこでも大丈夫です。

C:\hadoop\bin

ここに先ほどダウンロードしたwinutils.exeを配置します。

配置後、環境変数を登録します。

HADOOP_HOME=C:\hadoop

これで、ファイル操作も実施可能になります。

まとめ

これで、開発環境が出来たので次回は簡単なHello Worldプログラムを書いていきます。
それでは、Happy Hacking!