hadoop-2.7.3のWordCountテスト

1359 ワード

hadoopのWordCountをテスト
1、2つのテキストを作成する
[root@bigdata01 /]# mkdir input
[root@bigdata01 /]# cd input
[root@bigdata01 input]# echo "hello world" >test1.txt
[root@bigdata01 input]# echo "hello hadoop" >test2.txt

2、2つのtxtテキストをhadoopの下にコピーする
./inputディレクトリの下のすべてのテキストを表す/inputはhadoopルートディレクトリを表すでしょう私もよく分かりません
[root@bigdata01 input]# hadoop fs -put ./ /input 

3、copyからhadoopのテキストを表示する
[root@bigdata01 input]# hadoop fs -ls /input
Found 2 items
-rw-r--r--   1 root supergroup         12 2017-05-10 04:09 /input/test1.txt
-rw-r--r--   1 root supergroup         13 2017-05-10 04:09 /input/test2.txt

4、テキストの内容を見る
[root@bigdata01 input]# hadoop fs -cat /input/test1.txt 
hello world

5、wordcountのjarパッケージを実行し、結果を/outputに出力する
[root@bigdata01 hadoop-2.7.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/ /output

6、運行結果の表示
[root@bigdata01 hadoop-2.7.3]# hadoop fs -ls /output
Found 2 items
-rw-r--r--   1 root supergroup          0 2017-05-10 08:03 /output/_SUCCESS
-rw-r--r--   1 root supergroup         25 2017-05-10 08:03 /output/part-r-00000
[root@bigdata01 hadoop-2.7.3]# hadoop fs -cat /output/part-r-00000
hadoop	1
hello	2
world	1