Hadoop配備方式-ローカルモード(Standalone)Mode)

Hadoop配備方式-ローカルモード(Standalone)Mode)
著者:尹正傑
オリジナル作品、転載お断り!さもないと法律責任を追及する.
 
 
Hadoopには全部で3つの運転方法があります.ローカルモード(Standalone)Mode)、擬似分散(Pseudo-Distributed Mode)、分散(Fully-Distributed Mode).このブログでは、最初の実行方法、すなわちローカル実行方法について説明します.擬似分散のパートナーを参照してください.https://www.cnblogs.com/yinzhengjie/p/9058415.htmlを参照してください.https://www.cnblogs.com/yinzhengjie/p/9065191.html.
注意しなければならないのは、ローカル実行モードは、実際にはLinuxオペレーティングシステムで、直接ファイルをLinuxパスに格納します.私たちはファイルをアップロードするときに権限に注意しなければなりませんよ.例えば、Hadoopローカルモードを構築した後、直接ルートの下にファイルを提出すると、権限エラーを報告する可能性がありますよ.しかし、rootユーザーであれば別です.
 
 
一.対応するjdkとHadoopインストールパッケージをダウンロード
　　  jdk:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
　　Hadoop:http://hadoop.apache.org/releases.html
Hadoop公式にはwindowsバージョンはありませんが、Linuxの実行擬似分散を「visual studio」コンパイルツールでwindowsに移行することができます.2015バージョンのインストールをお勧めします.ネット上のチュートリアルはたくさんあります.残念ながら、このツールの使用は本編ブログのポイントではありません.
 
二.Java環境のインストール
1>.ソフトウェア解凍ディレクトリを作成し、一般ユーザーに権限を与える

[yinzhengjie@yinzhengjie ~]$ ll
total 390268
-rw-rw-r--. 1 yinzhengjie yinzhengjie 214092195 Aug 26 2016 hadoop-2.7.3.tar.gz
-rw-rw-r--. 1 yinzhengjie yinzhengjie 185540433 May 17 2017 jdk-8u131-linux-x64.tar.gz
[yinzhengjie@yinzhengjie ~]$ sudo mkdir /soft
[sudo] password for yinzhengjie: 
[yinzhengjie@yinzhengjie ~]$ sudo chown yinzhengjie:yinzhengjie /soft/
[yinzhengjie@yinzhengjie ~]$ ll /soft/ -d
drwxr-xr-x. 2 yinzhengjie yinzhengjie 6 May 24 02:30 /soft/
[yinzhengjie@yinzhengjie ~]$ 

2>.jdkを解凍し、ソフト接続パスを構成する

[yinzhengjie@yinzhengjie ~]$ tar zxf jdk-8u131-linux-x64.tar.gz -C /soft/
[yinzhengjie@yinzhengjie ~]$ cd /soft/
[yinzhengjie@yinzhengjie soft]$ ll
total 4
drwxr-xr-x. 8 yinzhengjie yinzhengjie 4096 Mar 15 2017 jdk1.8.0_131
[yinzhengjie@yinzhengjie soft]$ ln -s jdk1.8.0_131/ jdk
[yinzhengjie@yinzhengjie soft]$ ll
total 4
lrwxrwxrwx. 1 yinzhengjie yinzhengjie 13 May 24 02:33 jdk -> jdk1.8.0_131/
drwxr-xr-x. 8 yinzhengjie yinzhengjie 4096 Mar 15 2017 jdk1.8.0_131
[yinzhengjie@yinzhengjie soft]$ 

3>.Java環境変数の設定

[yinzhengjie@yinzhengjie soft]$ sudo vi /etc/profile
[yinzhengjie@yinzhengjie soft]$ tail -3 /etc/profile
#Add by yinzhengjie
JAVA_HOME=/soft/jdk/
PATH=$PATH:$JAVA_HOME/bin
[yinzhengjie@yinzhengjie soft]$ . /etc/profile
[yinzhengjie@yinzhengjie soft]$ 
[yinzhengjie@yinzhengjie soft]$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
[yinzhengjie@yinzhengjie soft]$ 

 
 
三.Hadoopのインストール
1>.jdkを解凍し、ソフト接続パスを構成する

[yinzhengjie@yinzhengjie ~]$ ll
total 390268
-rw-rw-r--. 1 yinzhengjie yinzhengjie 214092195 Aug 26 2016 hadoop-2.7.3.tar.gz
-rw-rw-r--. 1 yinzhengjie yinzhengjie 185540433 May 17 2017 jdk-8u131-linux-x64.tar.gz
[yinzhengjie@yinzhengjie ~]$ tar zxf hadoop-2.7.3.tar.gz -C /soft/
[yinzhengjie@yinzhengjie ~]$ ln -s /soft/hadoop-2.7.3/ /soft/hadoop
[yinzhengjie@yinzhengjie ~]$ ll /soft/
total 8
lrwxrwxrwx. 1 yinzhengjie yinzhengjie 19 May 24 02:40 hadoop -> /soft/hadoop-2.7.3/
drwxr-xr-x. 9 yinzhengjie yinzhengjie 4096 Aug 17 2016 hadoop-2.7.3
lrwxrwxrwx. 1 yinzhengjie yinzhengjie 13 May 24 02:33 jdk -> jdk1.8.0_131/
drwxr-xr-x. 8 yinzhengjie yinzhengjie 4096 Mar 15 2017 jdk1.8.0_131
[yinzhengjie@yinzhengjie ~]$ 

2>.Hadoopの環境変数の設定

[yinzhengjie@yinzhengjie ~]$ sudo vi /etc/profile
[sudo] password for yinzhengjie: 
[yinzhengjie@yinzhengjie ~]$ tail -7 /etc/profile
#Add by yinzhengjie
JAVA_HOME=/soft/jdk/
PATH=$PATH:$JAVA_HOME/bin

#Add HADOOP_HOME
HADOOP_HOME=/soft/hadoop/
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[yinzhengjie@yinzhengjie ~]$ 
[yinzhengjie@yinzhengjie ~]$ source /etc/profile
[yinzhengjie@yinzhengjie ~]$ grep JAVA_HOME /soft/hadoop/etc/hadoop/hadoop-env.sh | grep -v ^#
export JAVA_HOME=/soft/jdk/
[yinzhengjie@yinzhengjie ~]$ 

3>.インストールが完了したかどうかを検証します(コミットされたディレクトリは現在ユーザーに権限が必要です.ローカル配置ではサービスを起動する必要はありません.Linuxオペレーティングシステムを使用しています.一般ユーザーがファイルをルートに直接提出すれば、異常を報告しますよ!)

[yinzhengjie@yinzhengjie ~]$ ll
total 599344
-rw-rw-r--. 1 yinzhengjie yinzhengjie 214092195 Aug 26 2016 hadoop-2.7.3.tar.gz
-rw-rw-r--. 1 yinzhengjie yinzhengjie 185540433 May 17 2017 jdk-8u131-linux-x64.tar.gz
-rw-r--r--. 1 yinzhengjie yinzhengjie 214092195 May 24 03:24 test
[yinzhengjie@yinzhengjie ~]$ rm -rf test 
[yinzhengjie@yinzhengjie ~]$ 
[yinzhengjie@yinzhengjie ~]$ 
[yinzhengjie@yinzhengjie ~]$ ll
total 390268
-rw-rw-r--. 1 yinzhengjie yinzhengjie 214092195 Aug 26 2016 hadoop-2.7.3.tar.gz
-rw-rw-r--. 1 yinzhengjie yinzhengjie 185540433 May 17 2017 jdk-8u131-linux-x64.tar.gz
[yinzhengjie@yinzhengjie ~]$ 
[yinzhengjie@yinzhengjie ~]$ hdfs dfs -put hadoop-2.7.3.tar.gz /home/yinzhengjie/test
[yinzhengjie@yinzhengjie ~]$ tar zxf test 
[yinzhengjie@yinzhengjie ~]$ ll
total 599348
drwxr-xr-x. 9 yinzhengjie yinzhengjie 4096 Aug 17 2016 hadoop-2.7.3
-rw-rw-r--. 1 yinzhengjie yinzhengjie 214092195 Aug 26 2016 hadoop-2.7.3.tar.gz
-rw-rw-r--. 1 yinzhengjie yinzhengjie 185540433 May 17 2017 jdk-8u131-linux-x64.tar.gz
-rw-r--r--. 1 yinzhengjie yinzhengjie 214092195 May 24 03:24 test
[yinzhengjie@yinzhengjie ~]$