centosインストールhadoop 3.2

2360 ワード
ビッグデータ
インストールパッケージのダウンロード
 wget http://apache.claz.org/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
解凍
tar -xvjf hadoop-3.2.0.tar.gz
ディレクトリの下に移動
mv hadoop-3.2.0//usr/hadoop/
 
jdkのダウンロード
 wget https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz?AuthParam=1552290789_7c1b6820046571a441f0c967f353aa33
解凍 tar-xvjf jdk-8 u 201-linux-x 64.tar.gzあるディレクトリに移動
 mv jdk1.8.0_201//usr/java/
環境変数の設定:
export JAVA_HOME=/usr/java/jdk1.8.0_201
export HADOOP_HOME=/usr/hadoop/hadoop-3.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

 
例に従って、スタンドアロンモードをテストします.
3.1 standalone mode(ローカル個別モード)
このモードでは、1つのノードだけが1つのjavaプロセスを実行し、主にデバッグに使用されます.
3.1.1 Hadoopのインストールディレクトリの下で、inputディレクトリを作成する
1 # mkdir input
3.1.2 inputファイルをinputディレクトリの下にコピーする
1 # cp etc/hadoop/*.xml input
3.1.3 Hadoop jobの実行
1 # hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'
上のjobはhadoopが持参したサンプルを用いて,inputにdfsを含む文字列を統計した.
3.1.4実行結果の確認
1 # cat output/*
基本的に成功できる!
 
擬似分布:
# vi etc/hadoop/core-site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
    

 


# vi etc/hadoop/hdfs-site.xml

    
        dfs.replication
        1

rootユーザーに必要な場合は、次の手順に従います.
$ vim sbin/start-dfs.sh  $ vim sbin/stop-dfs.sh  上部の空白に内容を追加するには、次の手順に従います.  HDFS_DATANODE_USER=root  HADOOP_SECURE_DN_USER=hdfs  HDFS_NAMENODE_USER=root  HDFS_SECONDARYNAMENODE_USER=root  ---------------------   
JAVAを再声明する必要がありますHOME
vim etc/hadoop/hadoop-env.sh
追加 JAVA_HOME=/usr/java/jdk1.8.0_201
テスト:
 
フォーマット:hdfs namenode-format
起動:sbin/start-dfs.sh
確認:jps 2148 NameNode 14534 Jps 2375 DataNode 3037 SecondaryNameNode 
構成yarn:
同理追加
YARN_RESOURCEMANAGER_USER=root
YARN_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

 
 
デフォルトhttpポート9870:http://192.168.0.11:9870
レコードシール-Jenkins自動化構築ツールのインストール
Java整形入力を制御する方法