hadoop-2.7 Windows環境でのインストール

16211 ワード

http://blog.csdn.net/guochunyang/article/details/76147499
64ビットwindowsインストールHadoop Cygwinをバックさせる必要はなく、hadoopインストールパッケージを直接解凍してローカルにダウンロードする->4つの基本ファイルを最小化する->起動コマンドを1つ実行する->完了します.1つの前提は、あなたのパソコンにjdkがインストールされ、Java環境変数が設定されていることです.次はこのいくつかのステップを細かく貼り付けてhadoop 2.7.2を例とする
1、hadoopインストールパッケージをダウンロードすると詳しくは言わない:http://hadoop.apache.org/->左のポイントReleases->ポイントmirror site->ポイントhttp://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->hadoop-2.7.2.のダウンロードtar.gz;
2、解凍も詳しくは言わない:Dディスクルートディレクトリにコピーして直接解凍し、1つのディレクトリD:hadoop-2.7.2を出て、環境変数HADOOP_に配置するHOMEでは、PATHに%HADOOP_を追加HOME%\bin;クリックhttp://download.csdn.NET/detail/wuxun1997/9841472関連ツール類をダウンロードして、直接解凍してからファイルをD:hadoop-2.7.2binディレクトリに捨てて、その中のhadoop.dllはc:/windows/system 32の下でも1部なくします.
3、D:hadoop-2.7.2etchadoop次の4つのファイルを見つけ、以下の最小構成で貼り付けます.
core-site.xml
<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://localhost:9000value>
    property>    
configuration>


hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
    <property>    
        <name>dfs.namenode.name.dirname>    
        <value>file:/hadoop/data/dfs/namenodevalue>    
    property>    
    <property>    
        <name>dfs.datanode.data.dirname>    
        <value>file:/hadoop/data/dfs/datanodevalue>  
    property>
configuration>


mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>


yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
        <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
    property>
configuration>


4、Windowsコマンドラインウィンドウを起動し、hadoop-2.7.2binディレクトリに入り、次の2つのコマンドを実行し、namenodeをフォーマットしてからhadoopを起動する
D:\hadoop-2.7.2\bin>hadoop namenode -format
.
.
.
D:\hadoop-2.7.2\bin>cd ..\sbin

D:\hadoop-2.7.2\sbin>start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

D:\hadoop-2.7.2\sbin>jps
4944 DataNode
5860 NodeManager
3532 Jps
7852 NameNode
7932 ResourceManager

D:\hadoop-2.7.2\sbin>

jpsコマンドで4つのプロセスが引っ張られているのがわかりますが、ここまでhadoopのインストール起動は完了しています.次に、ブラウザでlocalhost:8088までmapreduceタスクを見て、localhost:5070->Utilites->Browse the file systemまでhdfsファイルを見ることができます.hadoopを再起動してnamenodeをフォーマットする必要がない場合はstop-all.cmd再start-all.cmdでいいです.
上に4つのプロセスを引くと4つのウィンドウがポップアップされ、この4つのプロセスが起動したときに何をしたかを見ることができます.
1.入力ディレクトリの作成
D:\hadoop\hadoop\bin>hadoop fs -mkdir hdfs://localhost:9000/user/

D:\hadoop\hadoop\bin>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

  • 2.ディレクトリへのデータのアップロード
    D:\hadoop\hadoop\bin>hadoop fs -put D:\file1.txt hdfs://localhost:9000/user/wcinput
    
    D:\hadoop\hadoop\bin>hadoop fs -put D:\file2.txt hdfs://localhost:9000/user/wcinput
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

  • 3.ファイルの表示
    D:\hadoop\hadoop\bin>hadoop fs -ls hdfs://localhost:9000/user/wcinput