Hadoopのインストールと構成

Hadoopの核心はHDFSとMapReduceです

まずHadoopをインストールします

Hadoopをダウンロードし、ローカルディレクトリに解凍するか、brewを使用してインストールします.
$ brew install Hadoop
sshパスワードなしログインの構成
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
生成された公開鍵を認証用の公開鍵ファイルに追加
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
次に、構成に成功したかどうかをテストします.
$ ssh localhost
Connection refusedなどのエラーが発生した場合は、macがリモートログイン機能をオンにしているかどうかを確認し、システムの好み設定で設定できます.

環境変数の設定

$ export HADOOP_HOME=/Users/hadoop/hadoop-1.2.1 $ export PATH=$PATH:$HADOOP_HOME/bin

Hadoopの設定

../hadoop/conf/hadoop-env.sh

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
export HADOOP_HEAPSIZE=2000
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

../hadoop/etc/hadoop/core-site.xml

  
      
        hadoop.tmp.dir  
        hdfs://localhost:9000  
        A base for other temporary directories.  
      
      
        fs.default.name  
        hdfs://localhost:8020  
      
   

../hadoop/etc/hadoop/hdfs-site.xml

  
      
        dfs.replication  
        1  
      
   

../hadoop/etc/hadoop/hdfs-site.xml

  
      
        mapred.job.tracker  
        hdfs://localhost:9001/value>  
      
      
        mapred.tasktracker.map.tasks.maximum  
        2  
      
      
        mapred.tasktracker.reduce.tasks.maximum  
        2  
      
 

うんてん

$cd/usr/local/cellar/hadoop/2.8.0/libexec#ファイルシステム$bin/hdfs namenode-format#NameNodeとDataNodeのデーモンプロセス$sbin/start-dfsを開始します.sh#ResourceManagerとNodeManagerのデーモン$sbin/start-yarnを起動します.sh
Hadoopクラスタの情報の表示http://localhost:8088
hadoopクラスタの動作状況http://localhost:50070