sbtを使用してIndexedRDD開発環境を構築

1.開発環境
ソフトウェア
バージョン番号
Ubuntu
15.04
JDK
1.7.0_79
Scala
2.10.4
spark-assembly
1.3.1-hadoop2.4.0
注意:ここでspark-assembly-1.31.-hadoop2.4.0 scala 2を使用する必要があります.10.4、他の高バージョンではエラーが報告されます.
2.linuxでsbtをインストール&Intellij環境の構成

linuxインストールsbtの詳細は、ここを参照してください.

フォルダ~/.sbt/0.13/pluginsの下にあるplugins.sbtプロファイルが見つかり、対応するフォルダとファイルがない場合に作成されます.プラグインの追加:

addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")

addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.6.0")

注意:間に空の行、SBT構文の要件が必要です.1行目はeclipseプロジェクトプロファイルを生成し、3行目はIntellij IDEAのプロジェクトプロファイルを生成します.
3.sbtでscalaプロジェクトを作成する

プロジェクトの構造は以下の通りである:

├── src
│　 ├── main
│　 │　 ├── java
│　 │　 ├── resources
│　 │　 └── scala
│　 ├── test
│　 │　 ├── java
│　 │　 ├── resources
│　 │　 └── scala
├── build.sbt
├── project
│　 ├── build.properties
│　 ├── plugins.sbt

SBTで使用されるディレクトリ構造はMAVENと同様であり、src/main/scalaおよびsrc/test/scalaの下でscalaコードが記述される.

build.sbtファイル修正

name := "spark"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.1.0"

項目名、バージョン、依存を設定し、空白行は省略できません.すべての依存パッケージがダウンロードされている場合は、このファイルを空にすることができます.

project/build.propertiesファイル修正

sbt.version=0.13.9

SBTのバージョン番号を設定します.

project/plugins.sbtファイル修正

addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.6.0")

プラグインを設定します.sbtのインストール時に構成されている場合は、ここに書かなくてもいいです.

IDE構成

を生成する.

//        Eclipse：
sbt eclipse

//        Intellij IDEA  
sbt gen-idea

4.Intellijオープンプロジェクト

Intellijで先ほど作成したプロジェクトパスを見つけ、intellijとsbt gen-ideaで生成されたプロジェクトバージョンが互換性がないことを示す可能性があります.変換プロジェクトをクリックします.古いバージョン構成はprojectFilesBackupに保存されています.

依存パッケージの追加:file --> Project Structure --> Libraries spark-assembly-1.3.1-hadoop2.4.0scala2.10.4の順に追加し、プロジェクトに必要な他のjarパッケージ

も追加します.

構成パッケージfile --> Project Structure --> Artifacts --> green + --> JAR --> From modules with dependencies... --> OK

実行する必要があるファイルを右クリックしrunを選択し、これで構成が終了し、プログラムが正常に走りました.午前中ずっと振り回されて,心の中は1万個だった.×××,やっと構成に成功しました.

【完】