hadoop-2.7 Windows環境でのインストール
16211 ワード
http://blog.csdn.net/guochunyang/article/details/76147499
64ビットwindowsインストールHadoop Cygwinをバックさせる必要はなく、hadoopインストールパッケージを直接解凍してローカルにダウンロードする->4つの基本ファイルを最小化する->起動コマンドを1つ実行する->完了します.1つの前提は、あなたのパソコンにjdkがインストールされ、Java環境変数が設定されていることです.次はこのいくつかのステップを細かく貼り付けてhadoop 2.7.2を例とする
1、hadoopインストールパッケージをダウンロードすると詳しくは言わない:http://hadoop.apache.org/->左のポイントReleases->ポイントmirror site->ポイントhttp://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->hadoop-2.7.2.のダウンロードtar.gz;
2、解凍も詳しくは言わない:Dディスクルートディレクトリにコピーして直接解凍し、1つのディレクトリD:hadoop-2.7.2を出て、環境変数HADOOP_に配置するHOMEでは、PATHに%HADOOP_を追加HOME%\bin;クリックhttp://download.csdn.NET/detail/wuxun1997/9841472関連ツール類をダウンロードして、直接解凍してからファイルをD:hadoop-2.7.2binディレクトリに捨てて、その中のhadoop.dllはc:/windows/system 32の下でも1部なくします.
3、D:hadoop-2.7.2etchadoop次の4つのファイルを見つけ、以下の最小構成で貼り付けます.
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
4、Windowsコマンドラインウィンドウを起動し、hadoop-2.7.2binディレクトリに入り、次の2つのコマンドを実行し、namenodeをフォーマットしてからhadoopを起動する
jpsコマンドで4つのプロセスが引っ張られているのがわかりますが、ここまでhadoopのインストール起動は完了しています.次に、ブラウザでlocalhost:8088までmapreduceタスクを見て、localhost:5070->Utilites->Browse the file systemまでhdfsファイルを見ることができます.hadoopを再起動してnamenodeをフォーマットする必要がない場合はstop-all.cmd再start-all.cmdでいいです.
上に4つのプロセスを引くと4つのウィンドウがポップアップされ、この4つのプロセスが起動したときに何をしたかを見ることができます.
1.入力ディレクトリの作成 1 2 3 1 2 3
2.ディレクトリへのデータのアップロード 1 2 3 1 2 3
3.ファイルの表示
D:\hadoop\hadoop\bin>hadoop fs -ls hdfs://localhost:9000/user/wcinput
64ビットwindowsインストールHadoop Cygwinをバックさせる必要はなく、hadoopインストールパッケージを直接解凍してローカルにダウンロードする->4つの基本ファイルを最小化する->起動コマンドを1つ実行する->完了します.1つの前提は、あなたのパソコンにjdkがインストールされ、Java環境変数が設定されていることです.次はこのいくつかのステップを細かく貼り付けてhadoop 2.7.2を例とする
1、hadoopインストールパッケージをダウンロードすると詳しくは言わない:http://hadoop.apache.org/->左のポイントReleases->ポイントmirror site->ポイントhttp://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->hadoop-2.7.2.のダウンロードtar.gz;
2、解凍も詳しくは言わない:Dディスクルートディレクトリにコピーして直接解凍し、1つのディレクトリD:hadoop-2.7.2を出て、環境変数HADOOP_に配置するHOMEでは、PATHに%HADOOP_を追加HOME%\bin;クリックhttp://download.csdn.NET/detail/wuxun1997/9841472関連ツール類をダウンロードして、直接解凍してからファイルをD:hadoop-2.7.2binディレクトリに捨てて、その中のhadoop.dllはc:/windows/system 32の下でも1部なくします.
3、D:hadoop-2.7.2etchadoop次の4つのファイルを見つけ、以下の最小構成で貼り付けます.
core-site.xml
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://localhost:9000value>
property>
configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replicationname>
<value>1value>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>file:/hadoop/data/dfs/namenodevalue>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>file:/hadoop/data/dfs/datanodevalue>
property>
configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
<value>org.apache.hadoop.mapred.ShuffleHandlervalue>
property>
configuration>
4、Windowsコマンドラインウィンドウを起動し、hadoop-2.7.2binディレクトリに入り、次の2つのコマンドを実行し、namenodeをフォーマットしてからhadoopを起動する
D:\hadoop-2.7.2\bin>hadoop namenode -format
.
.
.
D:\hadoop-2.7.2\bin>cd ..\sbin
D:\hadoop-2.7.2\sbin>start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons
D:\hadoop-2.7.2\sbin>jps
4944 DataNode
5860 NodeManager
3532 Jps
7852 NameNode
7932 ResourceManager
D:\hadoop-2.7.2\sbin>
jpsコマンドで4つのプロセスが引っ張られているのがわかりますが、ここまでhadoopのインストール起動は完了しています.次に、ブラウザでlocalhost:8088までmapreduceタスクを見て、localhost:5070->Utilites->Browse the file systemまでhdfsファイルを見ることができます.hadoopを再起動してnamenodeをフォーマットする必要がない場合はstop-all.cmd再start-all.cmdでいいです.
上に4つのプロセスを引くと4つのウィンドウがポップアップされ、この4つのプロセスが起動したときに何をしたかを見ることができます.
1.入力ディレクトリの作成
D:\hadoop\hadoop\bin>hadoop fs -mkdir hdfs://localhost:9000/user/
D:\hadoop\hadoop\bin>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
2.ディレクトリへのデータのアップロード
D:\hadoop\hadoop\bin>hadoop fs -put D:\file1.txt hdfs://localhost:9000/user/wcinput
D:\hadoop\hadoop\bin>hadoop fs -put D:\file2.txt hdfs://localhost:9000/user/wcinput
3.ファイルの表示
D:\hadoop\hadoop\bin>hadoop fs -ls hdfs://localhost:9000/user/wcinput