Sparkソース学習-linux環境でIDEAでSparkソースを見る
Sparkソース学習-linux環境でIDEAでSparkソースを見る
この文章の主な解決問題1.SparkのLinuxでの実験環境の構築
一、Sparkソース読解環境の準備
ここではCentosの構成方法について説明します.
この環境を構築するために必要なコンポーネントを次に示します. JDKの取り付け(JDK 1.7) Scalaの取り付け SBTの取り付け Gitの取り付け IDEAの取付 最后にインストールの环境によって、ソースコードを导入して、ソースコードの学习を行って、全体の文章はとても详しくて、初心者の学习の参考に适します.
二、JDKの取り付け
1.CentOSをインストールすると、jdkが自動的にインストールされます.先にアンインストールし、カスタムjdk 1.7をインストールする必要があります.
アンインストールの手順は次のとおりです.
操作が完了するとjava-versionを入力するとJavaバージョンにクエリーできないことが表示され、アンインストールに成功したことを示します.
2.まず、公式サイトからJDKバージョンをダウンロードします.JDK 1です.7,ダウンロードリンク:JDK 1.7バージョンのダウンロードリンク
バージョン選択の問題に関連して、現在のシステムのバージョンをクエリーし、コマンドラインにUname-aまたはmore/proc/versionを入力する必要があります.
カーネルバージョンの後にX 86_があります64は64ビットシステムを表しています.そうでなければ32ビットシステムになり、システムのバージョンに応じて対応するJDKをダウンロードします.こちらからダウンロードしたのはjdk-7 u 45-linux-x 64です.tar.gz.
3.JDKのインストールを行うソースパッケージを解凍し、端末を通じて/usr/localディレクトリの下にjavaフォルダを新規作成し、コマンドライン:
次に、圧縮パッケージにダウンロードをjavaフォルダにコピーします.コマンドライン:jdkソースパッケージのディレクトリに入ります.
次にjavaディレクトリに入り、コマンドライン:
圧縮パッケージを解凍し、コマンドライン:
次に、圧縮パッケージを削除し、コマンドラインを指定します.
JDKの環境変数を設定ここではグローバル設定方法を採用し、etc/profileを修正します.これはすべてのユーザーの共通の環境変数です.
グラフィックインタフェースがない場合はviで開いてください.
開いてから最後に追加
上記の追加中、等号の両側にスペースを追加しないでください.そうしないと、source/etc/profileではスペースに余分なものを認識できないため、パスの一部と理解されます.そして保存
profileを有効にし、最後に端末にjava-versonを入力し、インストールに成功したかどうかを確認します.成功するとjava version"1.7.0_79"Java(TM)SE Runtime Environment(build 1.7.0_79-b 18)Java HotSpot(TM)64-bit Server VM(build 24.45-b 08,mixed mode)が表示され、JDKのインストールが完了しました.
三、Scalaの取り付け
1.scalaダウンロードインストールパッケージscalaダウンロードリンク私がダウンロードしたのは2.10.6バージョンです.
2.ダウンロードしたインストールパッケージを解凍し、指定したディレクトリに移動します.
3.環境変数の構成
最後に加算
プロファイルをすぐに有効にする
4.テストはscala-versionを入力してテストします.表示:Scala code runner version 2.10.6...インストール成功
四、SBTの取り付け
1.sbtをダウンロードするインストールパッケージインストールパッケージアドレス:sbtインストールパッケージアドレス
2.ディレクトリを作成し、作成したディレクトリにファイルを解凍する
3.sbtを起動するスクリプトファイルを作成/場所を選択し、/usr/local/sbt/ディレクトリの下にsbtという名前の新しいファイル/
sbtテキストファイルに追加
次にescキー入力:wq保存終了を押す、解凍したsbtファイルパッケージのsbt-launchに正しい経路を位置決めする必要があることに注意する.jarファイルでOK
/×sbtファイル権限の変更×/
4.PATH環境変数を配置し、コンソールでsbtコマンド$vim~/を使用できることを保証する.bashrc/ファイルの末尾に次のコードを追加した後、保存終了/
プロファイルをすぐに有効にする
5.sbtがインストールに成功したかどうかをテストsbt-versionが最初に実行されると、いくつかのファイルパッケージがダウンロードされ、正常に使用できるようになります.ネットワークが接続されていることを確認するには、インストールに成功した後、以下の[info]Set current project to sbt(in build file:/opt/scala/sbt/)[info]0.13.5と表示されます.これで、sbtはインストールに成功しました.
五、Gitの取り付け
新しいバージョンのcentosはコマンドラインで直接インストールできます
しかし、この方法は簡単ですが、一般的な倉庫のバージョンの更新はタイムリーではありません.例えば、CentOS倉庫のgitの最新版は1.7.1ですが、gitの公式はすでに2.xのバージョンです.最新gitを取得したいシステムでは、rpmパケットをダウンロードするか、ソースコードを使用するしかありません.
手順は次のとおりです.
1.gitのインストールパッケージをダウンロードインストールパッケージ:gitインストールパッケージ
2.ソースファイルを解凍する
3.コンパイルインストールgitのディレクトリに入り、次のコマンドを順次実行する
Autoconfを認識できないコマンドが発生する可能性があります.まずインストールする必要があります.
make操作を実行中にgccが欠けている場合はyumでgccをインストールします
make操作を再実行し、エラーを報告し、zlibが欠けています.h.zlibが存在するかどうかを確認できます.h
ない場合は、zlibをインストールする必要があります.ここでは詳しく説明しません.zlibをインストールした後、上記のコマンドを再実行します.
4.成功したかどうかを確認する
六、IDEAの取り付け
1.インストールパッケージをダウンロードするには、まず公式サイトからIntelliJ IDEAのインストールパッケージをダウンロードする必要があります.ダウンロード先:IDEAダウンロードリンク
2.インストールダウンロードしたインストールパッケージをインストールが必要な場所にコピーし、解凍します.解凍する過程は実はインストールの過程です.
インストールは比較的簡単で、これでインストールが完了しました.
七、IDEAにソースコードを導入する
GithubからSparkプロジェクトをインポートしてIntelliJ IDEAを開いた後、メニューバーでVCS→Check out from Version Control→Gitを選択し、Git Repository URLにSparkプロジェクトのアドレスを記入し、ローカルパスを指定します.
このウィンドウのCloneをクリックすると、GithubのCloneからプロジェクトが始まります.このプロセスはネットの速度によって決まります.3-10分ぐらいかかります.Sparkのコンパイルcloneが完了すると、IntelliJ IDEAは自動的にこのプロジェクトに対応するpomがあることを提示します.xmlファイル、開くかどうか.ここではこのpomを直接選択する.xmlファイルを使用すると、プロジェクトの依存性が自動的に解析され、ネットワークやシステム関連環境によって所要時間が異なります.この手順が完了したら、Sparkルートディレクトリのpomを手動で編集してください.xmlファイル、javaバージョンを指定する行(java.version)を見つけて、あなたのシステム環境によって、jdk 1を使用している場合.7では、値を1.7に変更する必要があるかもしれません(デフォルトは1.6).その後shell端末を開き、コマンドラインで先ほどインポートしたsparkプロジェクトルートディレクトリに入り、実行
このコンパイルコマンドはすべてデフォルトの構成でSparkをコンパイルします.関連するコンポーネントのバージョンを指定するには、Sparkの公式サイトのBuild-Spark(http://spark.apache.org/docs/latest/building-spark.html)も参照してください.
これで,完全な文章を読むことができれば,環境全体のインストールを完了できるはずである.
この文章の主な解決問題1.SparkのLinuxでの実験環境の構築
一、Sparkソース読解環境の準備
ここではCentosの構成方法について説明します.
この環境を構築するために必要なコンポーネントを次に示します.
二、JDKの取り付け
1.CentOSをインストールすると、jdkが自動的にインストールされます.先にアンインストールし、カスタムjdk 1.7をインストールする必要があります.
アンインストールの手順は次のとおりです.
[root@localhost ~]# rpm -qa|grep jdk
java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
[root@localhost ~]# rpm -qa|grep gcj
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
libgcj-4.1.2-48.el5
[root@localhost ~]# yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
[root@localhost ~]# yum -y remove java java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
[root@localhost ~]# yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
[root@localhost ~]# yum -y remove libgcj-4.1.2-48.el5操作が完了するとjava-versionを入力するとJavaバージョンにクエリーできないことが表示され、アンインストールに成功したことを示します.
2.まず、公式サイトからJDKバージョンをダウンロードします.JDK 1です.7,ダウンロードリンク:JDK 1.7バージョンのダウンロードリンク
バージョン選択の問題に関連して、現在のシステムのバージョンをクエリーし、コマンドラインにUname-aまたはmore/proc/versionを入力する必要があります.
カーネルバージョンの後にX 86_があります64は64ビットシステムを表しています.そうでなければ32ビットシステムになり、システムのバージョンに応じて対応するJDKをダウンロードします.こちらからダウンロードしたのはjdk-7 u 45-linux-x 64です.tar.gz.
3.JDKのインストールを行うソースパッケージを解凍し、端末を通じて/usr/localディレクトリの下にjavaフォルダを新規作成し、コマンドライン:
sudo mkdir /usr/local/java次に、圧縮パッケージにダウンロードをjavaフォルダにコピーします.コマンドライン:jdkソースパッケージのディレクトリに入ります.
cp jdk-7u45-linux-x64.tar.gz /usr/local/java次にjavaディレクトリに入り、コマンドライン:
cd /usr/local/java圧縮パッケージを解凍し、コマンドライン:
sudo tar xvf jdk-7u45-linux-x64.tar.gz次に、圧縮パッケージを削除し、コマンドラインを指定します.
sudo rm jdk-7u45-linux-x64.tar.gzJDKの環境変数を設定ここではグローバル設定方法を採用し、etc/profileを修正します.これはすべてのユーザーの共通の環境変数です.
sudo gedit /etc/profileグラフィックインタフェースがない場合はviで開いてください.
開いてから最後に追加
export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
上記の追加中、等号の両側にスペースを追加しないでください.そうしないと、source/etc/profileではスペースに余分なものを認識できないため、パスの一部と理解されます.そして保存
source /etc/profileprofileを有効にし、最後に端末にjava-versonを入力し、インストールに成功したかどうかを確認します.成功するとjava version"1.7.0_79"Java(TM)SE Runtime Environment(build 1.7.0_79-b 18)Java HotSpot(TM)64-bit Server VM(build 24.45-b 08,mixed mode)が表示され、JDKのインストールが完了しました.
三、Scalaの取り付け
1.scalaダウンロードインストールパッケージscalaダウンロードリンク私がダウンロードしたのは2.10.6バージョンです.
2.ダウンロードしたインストールパッケージを解凍し、指定したディレクトリに移動します.
#tar -zxf scala-2.10.6.tgz
#sudo mv scala-2.10.6 /usr/local3.環境変数の構成
# sudo gedit/etc/profile最後に加算
export SCALA_HOME=/usr/local/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/binプロファイルをすぐに有効にする
source /etc/profile4.テストはscala-versionを入力してテストします.表示:Scala code runner version 2.10.6...インストール成功
四、SBTの取り付け
1.sbtをダウンロードするインストールパッケージインストールパッケージアドレス:sbtインストールパッケージアドレス
2.ディレクトリを作成し、作成したディレクトリにファイルを解凍する
$ sudo mkdir /usr/local/sbt
$ sudo tar zxvf sbt-0.13.5.tgz -C /usr/local/3.sbtを起動するスクリプトファイルを作成/場所を選択し、/usr/local/sbt/ディレクトリの下にsbtという名前の新しいファイル/
$ cd /usr/local/sbt/
$ vim sbtsbtテキストファイルに追加
BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@" 次にescキー入力:wq保存終了を押す、解凍したsbtファイルパッケージのsbt-launchに正しい経路を位置決めする必要があることに注意する.jarファイルでOK
/×sbtファイル権限の変更×/
$ chmod u+x sbt 4.PATH環境変数を配置し、コンソールでsbtコマンド$vim~/を使用できることを保証する.bashrc/ファイルの末尾に次のコードを追加した後、保存終了/
export PATH=/opt/scala/sbt/:$PATHプロファイルをすぐに有効にする
$ source ~/.bashrc5.sbtがインストールに成功したかどうかをテストsbt-versionが最初に実行されると、いくつかのファイルパッケージがダウンロードされ、正常に使用できるようになります.ネットワークが接続されていることを確認するには、インストールに成功した後、以下の[info]Set current project to sbt(in build file:/opt/scala/sbt/)[info]0.13.5と表示されます.これで、sbtはインストールに成功しました.
五、Gitの取り付け
新しいバージョンのcentosはコマンドラインで直接インストールできます
$ yum install gitしかし、この方法は簡単ですが、一般的な倉庫のバージョンの更新はタイムリーではありません.例えば、CentOS倉庫のgitの最新版は1.7.1ですが、gitの公式はすでに2.xのバージョンです.最新gitを取得したいシステムでは、rpmパケットをダウンロードするか、ソースコードを使用するしかありません.
手順は次のとおりです.
1.gitのインストールパッケージをダウンロードインストールパッケージ:gitインストールパッケージ
2.ソースファイルを解凍する
tar -zxvf git-latest.tar.gz
xz -d git-latest.tar.xz
tar -xvf git-latest.tar3.コンパイルインストールgitのディレクトリに入り、次のコマンドを順次実行する
$ autoconf
$ ./configure
$ make
$ make installAutoconfを認識できないコマンドが発生する可能性があります.まずインストールする必要があります.
$ yum -y install autoconfmake操作を実行中にgccが欠けている場合はyumでgccをインストールします
$ yum -y install gccmake操作を再実行し、エラーを報告し、zlibが欠けています.h.zlibが存在するかどうかを確認できます.h
$ whereis zlibない場合は、zlibをインストールする必要があります.ここでは詳しく説明しません.zlibをインストールした後、上記のコマンドを再実行します.
4.成功したかどうかを確認する
[root@sl git-1.7.3]# whereis git
git:/usr/local/bin/git
[root@sl git-1.7.3]# git -version
git version 1.7.3
，git 。
六、IDEAの取り付け
1.インストールパッケージをダウンロードするには、まず公式サイトからIntelliJ IDEAのインストールパッケージをダウンロードする必要があります.ダウンロード先:IDEAダウンロードリンク
2.インストールダウンロードしたインストールパッケージをインストールが必要な場所にコピーし、解凍します.解凍する過程は実はインストールの過程です.
$ sudo tar -xvf ideaIU-11.1.1.tar.gz インストールは比較的簡単で、これでインストールが完了しました.
七、IDEAにソースコードを導入する
GithubからSparkプロジェクトをインポートしてIntelliJ IDEAを開いた後、メニューバーでVCS→Check out from Version Control→Gitを選択し、Git Repository URLにSparkプロジェクトのアドレスを記入し、ローカルパスを指定します.
https://github.com/apache/sparkこのウィンドウのCloneをクリックすると、GithubのCloneからプロジェクトが始まります.このプロセスはネットの速度によって決まります.3-10分ぐらいかかります.Sparkのコンパイルcloneが完了すると、IntelliJ IDEAは自動的にこのプロジェクトに対応するpomがあることを提示します.xmlファイル、開くかどうか.ここではこのpomを直接選択する.xmlファイルを使用すると、プロジェクトの依存性が自動的に解析され、ネットワークやシステム関連環境によって所要時間が異なります.この手順が完了したら、Sparkルートディレクトリのpomを手動で編集してください.xmlファイル、javaバージョンを指定する行(java.version)を見つけて、あなたのシステム環境によって、jdk 1を使用している場合.7では、値を1.7に変更する必要があるかもしれません(デフォルトは1.6).その後shell端末を開き、コマンドラインで先ほどインポートしたsparkプロジェクトルートディレクトリに入り、実行
$ sbt/sbt assemblyこのコンパイルコマンドはすべてデフォルトの構成でSparkをコンパイルします.関連するコンポーネントのバージョンを指定するには、Sparkの公式サイトのBuild-Spark(http://spark.apache.org/docs/latest/building-spark.html)も参照してください.
これで,完全な文章を読むことができれば,環境全体のインストールを完了できるはずである.