hadoop-2.7.3のWordCountテスト
hadoopのWordCountをテスト
1、2つのテキストを作成する
2、2つのtxtテキストをhadoopの下にコピーする
./inputディレクトリの下のすべてのテキストを表す/inputはhadoopルートディレクトリを表すでしょう私もよく分かりません
3、copyからhadoopのテキストを表示する
4、テキストの内容を見る
5、wordcountのjarパッケージを実行し、結果を/outputに出力する
6、運行結果の表示
1、2つのテキストを作成する
[root@bigdata01 /]# mkdir input
[root@bigdata01 /]# cd input
[root@bigdata01 input]# echo "hello world" >test1.txt
[root@bigdata01 input]# echo "hello hadoop" >test2.txt
2、2つのtxtテキストをhadoopの下にコピーする
./inputディレクトリの下のすべてのテキストを表す/inputはhadoopルートディレクトリを表すでしょう私もよく分かりません
[root@bigdata01 input]# hadoop fs -put ./ /input
3、copyからhadoopのテキストを表示する
[root@bigdata01 input]# hadoop fs -ls /input
Found 2 items
-rw-r--r-- 1 root supergroup 12 2017-05-10 04:09 /input/test1.txt
-rw-r--r-- 1 root supergroup 13 2017-05-10 04:09 /input/test2.txt
4、テキストの内容を見る
[root@bigdata01 input]# hadoop fs -cat /input/test1.txt
hello world
5、wordcountのjarパッケージを実行し、結果を/outputに出力する
[root@bigdata01 hadoop-2.7.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/ /output
6、運行結果の表示
[root@bigdata01 hadoop-2.7.3]# hadoop fs -ls /output
Found 2 items
-rw-r--r-- 1 root supergroup 0 2017-05-10 08:03 /output/_SUCCESS
-rw-r--r-- 1 root supergroup 25 2017-05-10 08:03 /output/part-r-00000
[root@bigdata01 hadoop-2.7.3]# hadoop fs -cat /output/part-r-00000
hadoop 1
hello 2
world 1