hadoop-1.2.1が正常にインストールされ、構成されているかどうかをテストします.
6346 ワード
本稿では、hadoopのインストール後にインストールと構成を検証する方法について説明します.hadoop-1.2.1インストール方法参考:hadoop-1.2.1インストール方法詳細hadoopのインストールに成功した後、インストールと構成が成功したかどうかを簡単に検証するには、hadoop-1.2.1インストール方法詳細チュートリアルでjpsコマンドで簡単に検証しました.ここでは、MapReduceジョブ統計単語を実行することによって、reduceの構成が正しいかどうかをさらに検証します.以下は検証方法です.1、hadoopコマンドの実行を容易にするために、まずhadoopの環境変数を構成してhadoopユーザーディレクトリの下の.bashrcファイルを開き、以下の内容を追加します.
構成後、再ログインまたはコマンドsource.bashrcを実行して構成を有効にすることに注意してください.
設定HADOOP_HOMEの後、コマンドを実行して「Warning:$HADOOP_HOME is deprecated."警告、
解決方法の参照 hadoop 1.2.1報Warning:$HADOOP_HOME is deprecated.の解決方法
2、ローカルでテストファイルを作成し、アップロードを容易にするために、まずinputファイルを作成し、test 1.txtとtest 2.txtファイルを作成する[hadoop@mdw temp]$ mkdir input [hadoop@mdw temp]$ cd input/[hadoop@mdw input]$ echo "hello world hello hadoop"> test1.txt [hadoop@mdw input]$ echo "hello hadoop"> test2.txt [hadoop@mdw input]$ ll total 8 -rw-rw-r-- 1 hadoop hadoop 25 May 29 01:19 test1.txt -rw-rw-r-- 1 hadoop hadoop 13 May 29 01:20 test2.txt [hadoop@mdw input]$ cat test1.txt hello world hello hadoop [hadoop@mdw input]$ cat test2.txt hello hadoopの赤い内容は2つのテキストファイルの内容で、私たちはMapReduceジョブを通じて単語の個数を統計します3、この2つのテキストファイルをhdfsファイルシステムにアップロードします(私はここでhdfsファイルシステムのinフォルダにアップロードします)[hadoop@mdw input]$ hadoop dfs-put../input/inアップロード後、hdfsファイルシステムを表示[hadoop@mdw input]$ hadoop dfs -ls Found 1 items drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:31/user/hadoop/in私は見ることができます./user/hadoopフォルダにはinフォルダが1つ増えています.コマンドを実行してファイルの内容を以下のように表示します[hadoop@mdw input]$ hadoop dfs -ls ./in Found 2 items -rw-r--r-- 2 hadoop supergroup 25 2015-05-29 01:31/user/hadoop/in/test1.txt -rw-r--r-- 2 hadoop supergroup 13 2015-05-29 01:31/user/hadoop/in/test 2.txtアップロード・タイムズで次のエラーが発生した場合:put:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannot create directory/user/hadoop/in.Name node is in safemode.コマンドを実行してセキュリティ・モードをオフにすればよい:[hadoop@mdw input]$ hadoop dfsadmin -safemode leave
4、hadoopが持参した単語カウントプログラムを実行して単語の個数を統計する[hadoop@mdw input]$ hadoop jar ~/hadoop-1.2.1/hadoop-examples-1.2.1.jar wordcount in out 15/05/29 01:41:13 INFO input.FileInputFormat: Total input paths to process : 2 15/05/29 01:41:13 INFO util.NativeCodeLoader: Loaded the native-hadoop library 15/05/29 01:41:13 WARN snappy.LoadSnappy: Snappy native library not loaded 15/05/29 01:41:14 INFO mapred.JobClient: Running job: job_201505290130_0001 15/05/29 01:41:15 INFO mapred.JobClient: map 0% reduce 0% 15/05/29 01:41:19 INFO mapred.JobClient: map 50% reduce 0% 15/05/29 01:41:20 INFO mapred.JobClient: map 100% reduce 0% 15/05/29 01:41:26 INFO mapred.JobClient: map 100% reduce 33% 15/05/29 01:41:27 INFO mapred.JobClient: map 100% reduce 100% 15/05/29 01:41:27 INFO mapred.JobClient: Job complete: job_201505290130_0001 15/05/29 01:41:27 INFO mapred.JobClient: Counters: 29 15/05/29 01:41:27 INFO mapred.JobClient: Job Counters 15/05/29 01:41:27 INFO mapred.JobClient: Launched reduce tasks=1 15/05/29 01:41:27 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=5374 15/05/29 01:41:27 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0 15/05/29 01:41:27 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0 15/05/29 01:41:27 INFO mapred.JobClient: Launched map tasks=2 15/05/29 01:41:27 INFO mapred.JobClient: Data-local map tasks=2 15/05/29 01:41:27 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=8142 15/05/29 01:41:27 INFO mapred.JobClient: File Output Format Counters 15/05/29 01:41:27 INFO mapred.JobClient: Bytes Written=25 15/05/29 01:41:27 INFO mapred.JobClient: FileSystemCounters 15/05/29 01:41:27 INFO mapred.JobClient: FILE_BYTES_READ=68 15/05/29 01:41:27 INFO mapred.JobClient: HDFS_BYTES_READ=254 15/05/29 01:41:27 INFO mapred.JobClient: FILE_BYTES_WRITTEN=165604 15/05/29 01:41:27 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=25 15/05/29 01:41:27 INFO mapred.JobClient: File Input Format Counters 15/05/29 01:41:27 INFO mapred.JobClient: Bytes Read=38 15/05/29 01:41:27 INFO mapred.JobClient: Map-Reduce Framework 15/05/29 01:41:27 INFO mapred.JobClient: Map output materialized bytes=74 15/05/29 01:41:27 INFO mapred.JobClient: Map input records=2 15/05/29 01:41:27 INFO mapred.JobClient: Reduce shuffle bytes=74 15/05/29 01:41:27 INFO mapred.JobClient: Spilled Records=10 15/05/29 01:41:27 INFO mapred.JobClient: Map output bytes=62 15/05/29 01:41:27 INFO mapred.JobClient: CPU time spent (ms)=1960 15/05/29 01:41:27 INFO mapred.JobClient: Total committed heap usage (bytes)=337780736 15/05/29 01:41:27 INFO mapred.JobClient: Combine input records=6 15/05/29 01:41:27 INFO mapred.JobClient: SPLIT_RAW_BYTES=216 15/05/29 01:41:27 INFO mapred.JobClient: Reduce input records=5 15/05/29 01:41:27 INFO mapred.JobClient: Reduce input groups=3 15/05/29 01:41:27 INFO mapred.JobClient: Combine output records=5 15/05/29 01:41:27 INFO mapred.JobClient: Physical memory (bytes) snapshot=324222976 15/05/29 01:41:27 INFO mapred.JobClient: Reduce output records=3 15/05/29 01:41:27 INFO mapred.JobClient: Virtual memory (bytes) snapshot=1128259584 15/05/29 01:41:27 INFO mapred.JobClient: Map output records=6注意:hadoopが持参したhadoop-examples-1.2.1.jarというjarファイルはhadoopのインストールディレクトリの下で上の情報を通じて、MapReduceタスクが正常に実行されたことを見ることができます.hdfsファイルシステムを再確認すると、outフォルダが1つ増えていることがわかります[hadoop@mdw input]$ hadoop dfs -ls Found 2 items drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:31/user/hadoop/in drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:41/user/hadoop/out実行lsコマンドoutフォルダの内容を表示:[hadoop@mdw input]$ hadoop dfs -ls ./out Found 3 items -rw-r--r-- 2 hadoop supergroup 0 2015-05-29 01:41/user/hadoop/out/_SUCCESS drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:41/user/hadoop/out/_logs -rw-r--r-- 2 hadoop supergroup 25 2015-05-29 01:41/user/hadoop/out/part-r-00000 MapReduceタスクから出力されるデータは主にpart-r-00000ファイルに存在し、コマンドを実行してこれらのファイルの具体的な内容を表示することができます:[hadoop@mdw input]$ hadoop dfs -cat ./out/* hadoop 2 hello 3 world 1 cat:File does not exist:/user/hadoop/out/_logsここの赤い部分がMapReduceの実行結果で、2つのテキストファイルの単語が正しく統計されているので、hadoopが正常にインストールされた構成を十分に説明できます.
export HADOOP_HOME=/home/hadoop/hadoop-1.2.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin構成後、再ログインまたはコマンドsource.bashrcを実行して構成を有効にすることに注意してください.
設定HADOOP_HOMEの後、コマンドを実行して「Warning:$HADOOP_HOME is deprecated."警告、
解決方法の参照 hadoop 1.2.1報Warning:$HADOOP_HOME is deprecated.の解決方法
2、ローカルでテストファイルを作成し、アップロードを容易にするために、まずinputファイルを作成し、test 1.txtとtest 2.txtファイルを作成する[hadoop@mdw temp]$ mkdir input [hadoop@mdw temp]$ cd input/[hadoop@mdw input]$ echo "hello world hello hadoop"> test1.txt [hadoop@mdw input]$ echo "hello hadoop"> test2.txt [hadoop@mdw input]$ ll total 8 -rw-rw-r-- 1 hadoop hadoop 25 May 29 01:19 test1.txt -rw-rw-r-- 1 hadoop hadoop 13 May 29 01:20 test2.txt [hadoop@mdw input]$ cat test1.txt hello world hello hadoop [hadoop@mdw input]$ cat test2.txt hello hadoopの赤い内容は2つのテキストファイルの内容で、私たちはMapReduceジョブを通じて単語の個数を統計します3、この2つのテキストファイルをhdfsファイルシステムにアップロードします(私はここでhdfsファイルシステムのinフォルダにアップロードします)[hadoop@mdw input]$ hadoop dfs-put../input/inアップロード後、hdfsファイルシステムを表示[hadoop@mdw input]$ hadoop dfs -ls Found 1 items drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:31/user/hadoop/in私は見ることができます./user/hadoopフォルダにはinフォルダが1つ増えています.コマンドを実行してファイルの内容を以下のように表示します[hadoop@mdw input]$ hadoop dfs -ls ./in Found 2 items -rw-r--r-- 2 hadoop supergroup 25 2015-05-29 01:31/user/hadoop/in/test1.txt -rw-r--r-- 2 hadoop supergroup 13 2015-05-29 01:31/user/hadoop/in/test 2.txtアップロード・タイムズで次のエラーが発生した場合:put:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannot create directory/user/hadoop/in.Name node is in safemode.コマンドを実行してセキュリティ・モードをオフにすればよい:[hadoop@mdw input]$ hadoop dfsadmin -safemode leave
4、hadoopが持参した単語カウントプログラムを実行して単語の個数を統計する[hadoop@mdw input]$ hadoop jar ~/hadoop-1.2.1/hadoop-examples-1.2.1.jar wordcount in out 15/05/29 01:41:13 INFO input.FileInputFormat: Total input paths to process : 2 15/05/29 01:41:13 INFO util.NativeCodeLoader: Loaded the native-hadoop library 15/05/29 01:41:13 WARN snappy.LoadSnappy: Snappy native library not loaded 15/05/29 01:41:14 INFO mapred.JobClient: Running job: job_201505290130_0001 15/05/29 01:41:15 INFO mapred.JobClient: map 0% reduce 0% 15/05/29 01:41:19 INFO mapred.JobClient: map 50% reduce 0% 15/05/29 01:41:20 INFO mapred.JobClient: map 100% reduce 0% 15/05/29 01:41:26 INFO mapred.JobClient: map 100% reduce 33% 15/05/29 01:41:27 INFO mapred.JobClient: map 100% reduce 100% 15/05/29 01:41:27 INFO mapred.JobClient: Job complete: job_201505290130_0001 15/05/29 01:41:27 INFO mapred.JobClient: Counters: 29 15/05/29 01:41:27 INFO mapred.JobClient: Job Counters 15/05/29 01:41:27 INFO mapred.JobClient: Launched reduce tasks=1 15/05/29 01:41:27 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=5374 15/05/29 01:41:27 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0 15/05/29 01:41:27 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0 15/05/29 01:41:27 INFO mapred.JobClient: Launched map tasks=2 15/05/29 01:41:27 INFO mapred.JobClient: Data-local map tasks=2 15/05/29 01:41:27 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=8142 15/05/29 01:41:27 INFO mapred.JobClient: File Output Format Counters 15/05/29 01:41:27 INFO mapred.JobClient: Bytes Written=25 15/05/29 01:41:27 INFO mapred.JobClient: FileSystemCounters 15/05/29 01:41:27 INFO mapred.JobClient: FILE_BYTES_READ=68 15/05/29 01:41:27 INFO mapred.JobClient: HDFS_BYTES_READ=254 15/05/29 01:41:27 INFO mapred.JobClient: FILE_BYTES_WRITTEN=165604 15/05/29 01:41:27 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=25 15/05/29 01:41:27 INFO mapred.JobClient: File Input Format Counters 15/05/29 01:41:27 INFO mapred.JobClient: Bytes Read=38 15/05/29 01:41:27 INFO mapred.JobClient: Map-Reduce Framework 15/05/29 01:41:27 INFO mapred.JobClient: Map output materialized bytes=74 15/05/29 01:41:27 INFO mapred.JobClient: Map input records=2 15/05/29 01:41:27 INFO mapred.JobClient: Reduce shuffle bytes=74 15/05/29 01:41:27 INFO mapred.JobClient: Spilled Records=10 15/05/29 01:41:27 INFO mapred.JobClient: Map output bytes=62 15/05/29 01:41:27 INFO mapred.JobClient: CPU time spent (ms)=1960 15/05/29 01:41:27 INFO mapred.JobClient: Total committed heap usage (bytes)=337780736 15/05/29 01:41:27 INFO mapred.JobClient: Combine input records=6 15/05/29 01:41:27 INFO mapred.JobClient: SPLIT_RAW_BYTES=216 15/05/29 01:41:27 INFO mapred.JobClient: Reduce input records=5 15/05/29 01:41:27 INFO mapred.JobClient: Reduce input groups=3 15/05/29 01:41:27 INFO mapred.JobClient: Combine output records=5 15/05/29 01:41:27 INFO mapred.JobClient: Physical memory (bytes) snapshot=324222976 15/05/29 01:41:27 INFO mapred.JobClient: Reduce output records=3 15/05/29 01:41:27 INFO mapred.JobClient: Virtual memory (bytes) snapshot=1128259584 15/05/29 01:41:27 INFO mapred.JobClient: Map output records=6注意:hadoopが持参したhadoop-examples-1.2.1.jarというjarファイルはhadoopのインストールディレクトリの下で上の情報を通じて、MapReduceタスクが正常に実行されたことを見ることができます.hdfsファイルシステムを再確認すると、outフォルダが1つ増えていることがわかります[hadoop@mdw input]$ hadoop dfs -ls Found 2 items drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:31/user/hadoop/in drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:41/user/hadoop/out実行lsコマンドoutフォルダの内容を表示:[hadoop@mdw input]$ hadoop dfs -ls ./out Found 3 items -rw-r--r-- 2 hadoop supergroup 0 2015-05-29 01:41/user/hadoop/out/_SUCCESS drwxr-xr-x - hadoop supergroup 0 2015-05-29 01:41/user/hadoop/out/_logs -rw-r--r-- 2 hadoop supergroup 25 2015-05-29 01:41/user/hadoop/out/part-r-00000 MapReduceタスクから出力されるデータは主にpart-r-00000ファイルに存在し、コマンドを実行してこれらのファイルの具体的な内容を表示することができます:[hadoop@mdw input]$ hadoop dfs -cat ./out/* hadoop 2 hello 3 world 1 cat:File does not exist:/user/hadoop/out/_logsここの赤い部分がMapReduceの実行結果で、2つのテキストファイルの単語が正しく統計されているので、hadoopが正常にインストールされた構成を十分に説明できます.