文書ディレクトリ

必要なソフトウェアおよびソースパッケージ

インストールJDK

Hadoopの導入インストール

Hadoopの構成

Hadoopの使用

Hadoopの擬似分布式をいくつかのステップに分けます
JDKのインストール
JDKの環境変数の設定
Hadoopの環境変数の設定
Hadoopのファイルの変更
Nameノードのフォーマット
NameNodeとDataNodeを開く
Webページアクセス分散ファイルシステム

必要なソフトウェアおよびソースパッケージ

FileZilla ——(https://filezilla-project.org)

SecureCRT ——(https://download.csdn.net/download/xujingran/10775969)

jdk-7u80-linux-x64.gz ——(https://download.csdn.net/download/xujingran/10775975)

hadoop-2.6.0.tar.gz([http://archive.apache.org/dist/hadoop/core )

JDKのインストール

ダウンロード完了JDKとHadoopのソースパケット

FileZillaでファイルを/rootフォルダの下

にコピー

JDKを構成し、/usrの下にJavaインストールフォルダ

を作成する

   	 mkdir /usr/java

lsコマンドを実行し、ファイルが存在するかどうかを確認します.

jdk-7 u 80-linux-x 64を解凍する.gzからローカルの/usr/java

	 tar -zxvf jdk-7u80-linux-x64.gz -C /usr/java

cd /usr/javaに進むlsコマンドを実行してインストールに成功したかどうかを確認し、環境変数

を変更します.
WindowsにJDKをインストールしてコンピュータを実行する->プロパティ->高度なプロパティ->環境変数の手順と同じです

	1.vim /etc/profile 
	2. unset -f pathmunge （ ） 
		export JAVA_HOME=/usr/java/jdk1.7.0_80（ ）
		export PATH=$PATH:$JAVA_HOME/bin 

修正が完了してもすぐには有効になりません.sourceコマンドを実行して有効にする必要があります.

	source /etc/profile

入力javaにはエコー情報があり、java- version入力コマンドにはバージョン表示があり、JDKインストールが成功したことを示す

がある.

入力jpsにはjpsの表示がありますが、なければyumソースを構成してインストールする必要があります.構成方法の表示https://blog.csdn.net/xujingran/article/details/83905273

yumソース実行yum grep|list openjdkを構成してjavaパケットを検索し、見つけたらyum install java-1.7.0-openjdk-devel.x86_64を実行してjavaパケット

をインストールする.

Hadoopの導入インストール

は/rootに入り、lsを実行してhadoopのファイルがあるかどうかを確認します

実行tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local(hadoop-2.6.0.tar.gzを/usr/localに解凍)

実行lsこのファイルがあるかどうかを確認し、mv hadoop-2.6.0/ hadoop(スペースでhadoopに名前を変更することに注意)

を実行します.

はcd /usr/local/hadoop/に入り、vim ~/.bashrc(編集~/.bashrcファイル)

と入力.

hadoopを構成する環境変数

前に設定したJDKの環境変数とは異なります

     alias rm=”rm -i” 
    export JAVA_HOME=/usr
    export PATH=/usr/local/hadoop/bin/:/usr/local/hadoop/sbin/:$PATH
    export HADOOP_HOME=/usr/local/hadoop
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

修正が完了してもすぐには有効になりません.sourceコマンドを実行して有効にする必要があります.

	source ~/.bashrc

(1)変数値を検証するためにecho $JAVA_HOMEを入力し、(2)java -versionを入力javaが正常に構成されているかどうかを確認します(3)hadoop versionを入力hadoopが使用可能かどうかを確認します.使用できません.プロファイルが正しいかどうかを確認する必要があります.

Hadoopの構成

私たちがやったのはすべて1台の仮想マシンでやった実験なので、私たちは偽分布式の実験をしています.偽分布式の実験は2つのファイルを修正する必要があります.core-site.xmlとhdfs-site.xml、両方のファイルは/usr/local/hadoop/etc/hadoopフォルダの下にあります.

(1)core-siteを修正する.xmlファイル

    <configuration>
   		 <property>
    		<name>hadoop.tmp.dir</name>
    		<value>file:/usr/local/hadoop/tmp</value>
    		<description>Abase for other temporary directories.</description>
    	</property>
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://localhost:9000</value>
    	</property>
    </configuration>

(2)hdfs-siteを修正する.xmlファイル

    <configuration>
   		 <property>
    		<name>dfs.replication</name>
    		<value>1</value>
    	</property>
    	<property>
    		<name>dfs.namenode.name.dir</name>
    		<value>file:/usr/local/hadoop/tmp/dfs/name</value>
    	</property>
    	<property>
    		<name>dfs.datanode.data.dir</name>
    		<value>file:/usr/local/hadoop/tmp/dfs/data</value>
    	</property>
    </configuration>

NameNodeをフォーマットし、hdfs namenode -formatコマンドを実行successfully formattedまたはExitting with status 0を表示すると構成成功、Exitting with status 1を表示すると構成失敗(異なるバージョンのhadoop表示が異なるので注意してください)

を表示します.

次にNameNodeプロセスとDataNodeプロセスを開きます.コマンドはstart-dfsです.sh(この場合パスワードを3回入力する必要があります).

jpsコマンドを入力します.jps、SecondaryNameNode、NameNodeがあれば、DataNodeは構成が成功したことを示します.SecondaryNameNodeがない場合は、stop-dfs.shプロセスを閉じて再開する必要があります.NameNode、DataNodeがない場合は、前のファイルに構成エラーがあるかどうかを確認する必要があります.

正常に起動した後にブラウザのwebインタフェースで入力しますhttp://localhost:50070を選択すると、分散ファイルシステムのプロンプトインタフェースがポップアップされます.

Hadoopの使用

コマンドライン入力hdfs dfs –mkdir –p /usr/hadoopでディレクトリを作成し、実行完了後にwebページのutilitiesページに行って

に成功したかどうかを検証する.

入力

 ./bin/hdfs dfs –mkdir –p input./bin/hdfs dfs –mkdir –p input
 ./bin/hdfs dfs –put /etc/hadoop/*.xml input

hadoopフォルダの下のすべてをxmlファイルを分散ファイルシステムにアップロードし、webページのutilitiesページにアクセスして成功したかどうかを検証します.

入力

  mkdir ./output
./bin/hdfs dfs –get hdfs-site.xml ./output

  cat ./output/ hdfs-site.xml 

分散ファイルシステムでhdfs-siteをダウンロードする.xmlからoutputフォルダ)outputフォルダの下に入ってlsを実行し、成功したかどうかを確認します.

実験終了.