Hadoop環境のインストールと構成
3905 ワード
インストール設定Hadoop開発環境
Hadoopをダウンロード
私たちは公式サイトにダウンロードします.http://hadoop.apache.org/
Hadoop環境の設定
単一ノードのクラスタを構築し、擬似分布式を構成するには、なぜ分布式をしないのでしょうか.
実は分布式の配置と偽分布式の差は多くなくて、ただ分布式の機械が増加しただけで、その他は大したことはありません.
##SSH非暗号化ログインを設定後にクラスタを操作する場合、ホストとスレーブを頻繁にログインする必要があるので、SSH非暗号化ログインを設定する必要があります.
次のコードを入力します.
ssh-keygen-t rsa-P''は暗号化されていない鍵ペアを生成し、保存経路を尋ねて直接車に戻り、鍵ペアを生成する:id_rsaとid_rsa.pubは、デフォルトで~/.sshディレクトリに格納されます.
次:id_rsa.pubは許可されたkeyに追加されます.
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys次に権限を変更します.
chmod 600 ~/.ssh/authorized_keysは次に、RSA認証を有効にし、公開鍵秘密鍵ペアリング認証方式を開始する必要がある.
vim/etc/ssh/sshd_configプロンプト権限が不足している場合は、コマンドの前にsudoを追加します.
ssh構成の変更:
RSAAuthentication yes#RSA認証有効PubkeyAuthentication yes#公開鍵秘密鍵ペアリング認証有効AuthorizedKeysFile%h/.ssh/authorized_keys#公開鍵ファイルパス
SSH:service ssh restartの再起動
準備が終わりました.Hadoopのプロファイルの変更を始めます.全部で6つのファイルを変更する必要があります.それぞれ:
hadoop-env.sh; yarn-env.sh ; core-site.xml; hdfs-site.xml; mapred-site.xml; yarn-site.xml. 次から次へと配置しましょう.
hadoop-env.sh 2つのenv.shファイルを構成する主にJDKを構成する場所
ヒント:JDKの場所を忘れた場合は、echo$JAVA_と入力します.ホームが見えますよ.
まずhadoopディレクトリに切り替えます
cd/app/hadoop 3.1/etc/hadoop/編集hadoop-env.shファイルに次のコードを挿入します.
yarn-env.sh構成編集yarn-env.sh次のコードを挿入します.
core-site.xml構成これはコアプロファイルです.HDFSのURIとNameNodeの一時フォルダの場所を追加する必要があります.この一時フォルダは以下で作成されます.
ファイルの末尾にあるconfigurationラベルにコードを追加するには、次のようにします.
HDfs-site.xmlファイル構成replicationとは、コピー数を指し、現在は単一ノードなので1です.
mapred-site.xmlファイル構成
yarn-site.xml構成
上のipはifconfigコマンドで機械のipアドレスを確認します
フォルダの作成
プロファイルにフォルダパスを設定し、/usr/hadoop/ディレクトリでhadoopユーザー操作を使用して、tmp、hdfs/name、hdfs/dataディレクトリを作成し、次のコマンドを実行します.
mkdir-p/usr/hadoop/tmp mkdir/usr/hadoop/hdfs mkdir/usr/hadoop/hdfs/data mkdir/usr/hadoop/hdfs/name環境変数にHadoopを追加vim/etc/profileファイルの末尾に次のコードを挿入します.
最後に変更を有効にします:source/etc/profile
##検証は基本的に完了しました.次に、1.HDFSファイルのフォーマット、2.hadoopの起動、3.Hadoopの検証を完了するだけです.
フォーマットHadoopを使用する前に、hadoopの基本情報をフォーマットする必要があります.
次のコマンドを使用します.
hadoop namenode -format
##Hadoopを起動します.次にHadoopを起動します.
start-dfs.sh
その後、グラフィックスインタフェースの場合は、仮想マシンのグラフィックスインタフェースで火狐ブラウザの入力を開くことができます.http://localhost:9870/hadoopの管理ページにアクセスします.
Hadoopをダウンロード
私たちは公式サイトにダウンロードします.http://hadoop.apache.org/
Hadoop環境の設定
単一ノードのクラスタを構築し、擬似分布式を構成するには、なぜ分布式をしないのでしょうか.
実は分布式の配置と偽分布式の差は多くなくて、ただ分布式の機械が増加しただけで、その他は大したことはありません.
##SSH非暗号化ログインを設定後にクラスタを操作する場合、ホストとスレーブを頻繁にログインする必要があるので、SSH非暗号化ログインを設定する必要があります.
次のコードを入力します.
ssh-keygen-t rsa-P''は暗号化されていない鍵ペアを生成し、保存経路を尋ねて直接車に戻り、鍵ペアを生成する:id_rsaとid_rsa.pubは、デフォルトで~/.sshディレクトリに格納されます.
次:id_rsa.pubは許可されたkeyに追加されます.
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys次に権限を変更します.
chmod 600 ~/.ssh/authorized_keysは次に、RSA認証を有効にし、公開鍵秘密鍵ペアリング認証方式を開始する必要がある.
vim/etc/ssh/sshd_configプロンプト権限が不足している場合は、コマンドの前にsudoを追加します.
ssh構成の変更:
RSAAuthentication yes#RSA認証有効PubkeyAuthentication yes#公開鍵秘密鍵ペアリング認証有効AuthorizedKeysFile%h/.ssh/authorized_keys#公開鍵ファイルパス
SSH:service ssh restartの再起動
準備が終わりました.Hadoopのプロファイルの変更を始めます.全部で6つのファイルを変更する必要があります.それぞれ:
hadoop-env.sh; yarn-env.sh ; core-site.xml; hdfs-site.xml; mapred-site.xml; yarn-site.xml. 次から次へと配置しましょう.
hadoop-env.sh 2つのenv.shファイルを構成する主にJDKを構成する場所
ヒント:JDKの場所を忘れた場合は、echo$JAVA_と入力します.ホームが見えますよ.
まずhadoopディレクトリに切り替えます
cd/app/hadoop 3.1/etc/hadoop/編集hadoop-env.shファイルに次のコードを挿入します.
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/app/jdk1.8.0_171
yarn-env.sh構成編集yarn-env.sh次のコードを挿入します.
export JAVA_HOME=/app/jdk1.8.0_171
core-site.xml構成これはコアプロファイルです.HDFSのURIとNameNodeの一時フォルダの場所を追加する必要があります.この一時フォルダは以下で作成されます.
ファイルの末尾にあるconfigurationラベルにコードを追加するには、次のようにします.
fs.default.name
hdfs://localhost:9000
HDFS URI， ://namenode :
hadoop.tmp.dir
/usr/hadoop/tmp
namenode hadoop
HDfs-site.xmlファイル構成replicationとは、コピー数を指し、現在は単一ノードなので1です.
dfs.name.dir
/usr/hadoop/hdfs/name
namenode hdfs
dfs.data.dir
/usr/hadoop/hdfs/data
datanode
dfs.replication
1
mapred-site.xmlファイル構成
mapreduce.framework.name
yarn
yarn-site.xml構成
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.webapp.address
192.168.2.10:8088
mr
上のipはifconfigコマンドで機械のipアドレスを確認します
フォルダの作成
プロファイルにフォルダパスを設定し、/usr/hadoop/ディレクトリでhadoopユーザー操作を使用して、tmp、hdfs/name、hdfs/dataディレクトリを作成し、次のコマンドを実行します.
mkdir-p/usr/hadoop/tmp mkdir/usr/hadoop/hdfs mkdir/usr/hadoop/hdfs/data mkdir/usr/hadoop/hdfs/name環境変数にHadoopを追加vim/etc/profileファイルの末尾に次のコードを挿入します.
#set Hadoop Enviroment
export HADOOP-_HOME-/app/hadoop3.1
export PATH=SPATH：SHADOOP_HOME/bin：SHADOOP_HOME/sbin
最後に変更を有効にします:source/etc/profile
##検証は基本的に完了しました.次に、1.HDFSファイルのフォーマット、2.hadoopの起動、3.Hadoopの検証を完了するだけです.
フォーマットHadoopを使用する前に、hadoopの基本情報をフォーマットする必要があります.
次のコマンドを使用します.
hadoop namenode -format
##Hadoopを起動します.次にHadoopを起動します.
start-dfs.sh
その後、グラフィックスインタフェースの場合は、仮想マシンのグラフィックスインタフェースで火狐ブラウザの入力を開くことができます.http://localhost:9870/hadoopの管理ページにアクセスします.