Ubuntu 14.04 LTSにインストール配備Hadoop 2.7.1(擬似分散)【転載】
5215 ワード
1、Ubuntu 14.04 Desktop LTSをインストールISOファイルをダウンロードし、ubuntu-14.04.1-desktop-amd 64.iso. VirtualBoxまたはVMwareに仮想マシンを新規作成し、ISOファイルを起動CDに設定します.Windows 7でVMware Workstation 10仮想マシンでUbuntu 14.04をインストールhttp://www.linuxidc.com/Linux/2014-04/100473.htm次に、ユーザーを入力する必要がある場所で、システムのインストールが完了するまでユーザー名linuxidcを入力します.仮想マシンを再起動し、linuxidcを使用してシステムにログインします.rootのパスワードを設定し、sudo passwdコマンドを入力します.linuxidc@hduser-VirtualBox:~$sudo passwd[sudo]password for linuxidc:(自分のパスワードを入力)新しいUNIXパスワードを入力:(rootパスワードを設定)新しいUNIXパスワードを再入力:(rootパスワードを再設定)passwd:パスワードの更新に成功しました
後で簡単にするために、ubuntuに強化機能(virtualbox強化機能またはvmtools)をインストールしてsudoグループにユーザーを追加します.コマンド:sudo adduser linuxidc sudo.ユーザーがすでにこのグループ内にいる場合は、プロンプトが表示されます.
グループHadoopを追加し、グループhadoopにlinuxidcを追加します:su addgroup hadoop usermod-a-G hadoop linuxidc
2、ssh無パスワード登録インストールssh server:****sudo apt-get install openssh-server**cd~/.ssh/**このディレクトリがない場合は、ssh localhost ssh-keygen-t rsaを一度実行してください.rsa.pub >> authorized_keys#加入ライセンス
ssh localhostを使用して直接ログインできるかどうか試してみます
3、JDKの配置
Oracleの公式サイトにJDK 1をダウンロードします.7,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html.jdk-7 u 79-linux-x 64をダウンロードします.tar.gz. JDKを/usr/lib/jvmにインストールする準備ができているため、先に/usr/lib/ディレクトリの下でjvmフォルダcd/usr/lib/sudo mkdir jvmを作成します.
ダウンロードしたインストールパッケージをjvmフォルダ(jdk 1.7.0_79)**sudo tar zxvf/home/linuxidc/デスクトップ/jdk-7 u 79-linux-x 64に解凍する.tar.gz -C/usr/lib/jvm **
JAVAの設定HOME: nano ~/.bashrcは1行目の前に追加:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79、保存終了.設定を直ちに有効にする:source****~/.bashrc
テストJAVA_HOMEが正常に設定されているかどうかは、上記のパスを出力して成功を示します:echo$JAVA_HOME
4、Hadoop 2を取り付ける.7.1ファイルをダウンロードし、http://hadoop.apache.org/releases.htmlを選択し、2.7.1のbinary形式でダウンロードします.ファイル名:hadoop-2.7.1.tar.gz. Hadoopを/usr/local/sudo tar-zxvf/home/linuxidc/デスクトップ/hadoop 2.7.1にインストールすることを選択しました.tar.gz -C/usr/local cd/usr/local/sudo mv ./hadoop-2.7.1/./hadoop#フォルダ名をhadoop sudo chown-R linuxidc./に変更hadoop#ファイル権限の変更インストールに成功したかどうかをテストします.コマンドヘルプが表示されたら、成功しました:/usr/local/hadoop/bin/hadoop
環境変数nano~/.bashrcがインタフェースを開くと、前に設定したJAVA_HOME後入力:
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
設定を直ちに有効にする:source~/.bashrcインストールに成功したかどうかを確認し、コマンドを実行します.コマンドヘルプが表示されたら成功します:hdfs
5、構成擬似分布式を構成ファイルディレクトリに切り替える:cd****/usr/local/hadoop/etc/hadoop構成core-site.xml,実行コマンド:nano core-site.xml.ファイルの置換:hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000
hdfs-siteを構成する.xml,実行コマンド:nano hdfs-site.xml、変更:dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data
fsを構成するだけですが.defaultFSとdfs.Replicationは実行できますが(公式チュートリアルではそうです)、hadoopが構成されていない場合は.tmp.dirパラメータでは、デフォルトで使用される一時ディレクトリは/tmp/hadoo-hadoopですが、このディレクトリは再起動時にシステムによってクリーンアップされる可能性があり、formatを再実行する必要があります.そこで設定とともにdfsも指定する.namenode.name.dirとdfs.datanode.data.dir、そうしないと次のステップでエラーが発生する可能性があります.
yarn-siteを構成します.xml,実行コマンド:nano yarn-site.xml、変更:yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
mapred-siteを構成します.xmlテンプレートファイルからxmlをコピーし、コマンド:mv mapred-siteを実行します.xml.template mapred-site.xml実行コマンド:nano mapred-site.xmlファイルをに変更
mapreduce.framework.name
yarn
構成が完了したら、フォーマットを実行します:hdfs namenode-format.最後から5行目にExitting with status 0が現れると成功し、Exitting with status 1であればエラーです.hadoopのすべてのプロセスを開始します:start-all.sh
各プロセスが正常に起動しているかどうかを確認します.実行:jps.すべてが正常であれば、次の結果が表示されます.
2583 DataNode
2970 ResourceManager
3461 Jps
3177 NodeManager
2361 NameNode
2840 SecondaryNam
【注意】jpsを実行した場合のヒント:
プログラム'jps'は、次のパッケージに含まれています. default-jdk ecj gcj-4.6-jdk openjdk-6-jdk gcj-4.5-jdk openjdk-7-jdk
試してみてください:sudo apt-get install
では、以下のコマンドを実行して、システムのデフォルトJDK:sudo update-alternatives--install/usr/bin/jps jps/usr/lib/jvm/jdk 1を手動で設定してください.7.0_79/bin/jps 1 sudo update-alternatives --install/usr/bin/javac javac/usr/lib/jvm/jdk1.7.0_79/bin/javac 300 sudo update-alternatives --install/usr/bin/java java/usr/lib/jvm/jdk1.7.0_79/bin/java 300
Ubuntu14.04下Hadoop 2.4.1スタンドアロン/擬似分散インストール構成チュートリアルhttp://www.linuxidc.com/Linux/2015-02/113487.htmCentOSのインストールと設定Hadoop 2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htmUbuntu 13.04上にHadoop環境を構築するhttp://www.linuxidc.com/Linux/2013-06/86106.htmUbuntu 12.10+Hadoop 1.2.1バージョンクラスタ構成http://www.linuxidc.com/Linux/2013-09/90600.htmUbuntu上にHadoop環境を構築する(単機モード+擬似分布モード)http://www.linuxidc.com/Linux/2013-01/77681.htmUbuntuでのHadoop環境の構成http://www.linuxidc.com/Linux/2012-11/74539.htm単機版はHadoop環境図文教程の詳しい解を構築しますhttp://www.linuxidc.com/Linux/2012-02/53927.htmHadoopの詳細については、Hadoopの特集ページを参照してください.http://www.linuxidc.com/topicnews.aspx?tid=13
本明細書では、リンクアドレスを永続的に更新します.http://www.linuxidc.com/Linux/2015-09/122873.htm
後で簡単にするために、ubuntuに強化機能(virtualbox強化機能またはvmtools)をインストールしてsudoグループにユーザーを追加します.コマンド:sudo adduser linuxidc sudo.ユーザーがすでにこのグループ内にいる場合は、プロンプトが表示されます.
グループHadoopを追加し、グループhadoopにlinuxidcを追加します:su addgroup hadoop usermod-a-G hadoop linuxidc
2、ssh無パスワード登録インストールssh server:****sudo apt-get install openssh-server**cd~/.ssh/**このディレクトリがない場合は、ssh localhost ssh-keygen-t rsaを一度実行してください.rsa.pub >> authorized_keys#加入ライセンス
ssh localhostを使用して直接ログインできるかどうか試してみます
3、JDKの配置
Oracleの公式サイトにJDK 1をダウンロードします.7,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html.jdk-7 u 79-linux-x 64をダウンロードします.tar.gz. JDKを/usr/lib/jvmにインストールする準備ができているため、先に/usr/lib/ディレクトリの下でjvmフォルダcd/usr/lib/sudo mkdir jvmを作成します.
ダウンロードしたインストールパッケージをjvmフォルダ(jdk 1.7.0_79)**sudo tar zxvf/home/linuxidc/デスクトップ/jdk-7 u 79-linux-x 64に解凍する.tar.gz -C/usr/lib/jvm **
JAVAの設定HOME: nano ~/.bashrcは1行目の前に追加:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79、保存終了.設定を直ちに有効にする:source****~/.bashrc
テストJAVA_HOMEが正常に設定されているかどうかは、上記のパスを出力して成功を示します:echo$JAVA_HOME
4、Hadoop 2を取り付ける.7.1ファイルをダウンロードし、http://hadoop.apache.org/releases.htmlを選択し、2.7.1のbinary形式でダウンロードします.ファイル名:hadoop-2.7.1.tar.gz. Hadoopを/usr/local/sudo tar-zxvf/home/linuxidc/デスクトップ/hadoop 2.7.1にインストールすることを選択しました.tar.gz -C/usr/local cd/usr/local/sudo mv ./hadoop-2.7.1/./hadoop#フォルダ名をhadoop sudo chown-R linuxidc./に変更hadoop#ファイル権限の変更インストールに成功したかどうかをテストします.コマンドヘルプが表示されたら、成功しました:/usr/local/hadoop/bin/hadoop
環境変数nano~/.bashrcがインタフェースを開くと、前に設定したJAVA_HOME後入力:
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
設定を直ちに有効にする:source~/.bashrcインストールに成功したかどうかを確認し、コマンドを実行します.コマンドヘルプが表示されたら成功します:hdfs
5、構成擬似分布式を構成ファイルディレクトリに切り替える:cd****/usr/local/hadoop/etc/hadoop構成core-site.xml,実行コマンド:nano core-site.xml.ファイルの置換:hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000
hdfs-siteを構成する.xml,実行コマンド:nano hdfs-site.xml、変更:dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data
Hadoop ：
fsを構成するだけですが.defaultFSとdfs.Replicationは実行できますが(公式チュートリアルではそうです)、hadoopが構成されていない場合は.tmp.dirパラメータでは、デフォルトで使用される一時ディレクトリは/tmp/hadoo-hadoopですが、このディレクトリは再起動時にシステムによってクリーンアップされる可能性があり、formatを再実行する必要があります.そこで設定とともにdfsも指定する.namenode.name.dirとdfs.datanode.data.dir、そうしないと次のステップでエラーが発生する可能性があります.
yarn-siteを構成します.xml,実行コマンド:nano yarn-site.xml、変更:yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
mapred-siteを構成します.xmlテンプレートファイルからxmlをコピーし、コマンド:mv mapred-siteを実行します.xml.template mapred-site.xml実行コマンド:nano mapred-site.xmlファイルをに変更
mapreduce.framework.name
yarn
構成が完了したら、フォーマットを実行します:hdfs namenode-format.最後から5行目にExitting with status 0が現れると成功し、Exitting with status 1であればエラーです.hadoopのすべてのプロセスを開始します:start-all.sh
各プロセスが正常に起動しているかどうかを確認します.実行:jps.すべてが正常であれば、次の結果が表示されます.
2583 DataNode
2970 ResourceManager
3461 Jps
3177 NodeManager
2361 NameNode
2840 SecondaryNam
【注意】jpsを実行した場合のヒント:
プログラム'jps'は、次のパッケージに含まれています.
試してみてください:sudo apt-get install
では、以下のコマンドを実行して、システムのデフォルトJDK:sudo update-alternatives--install/usr/bin/jps jps/usr/lib/jvm/jdk 1を手動で設定してください.7.0_79/bin/jps 1 sudo update-alternatives --install/usr/bin/javac javac/usr/lib/jvm/jdk1.7.0_79/bin/javac 300 sudo update-alternatives --install/usr/bin/java java/usr/lib/jvm/jdk1.7.0_79/bin/java 300
Ubuntu14.04下Hadoop 2.4.1スタンドアロン/擬似分散インストール構成チュートリアルhttp://www.linuxidc.com/Linux/2015-02/113487.htmCentOSのインストールと設定Hadoop 2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htmUbuntu 13.04上にHadoop環境を構築するhttp://www.linuxidc.com/Linux/2013-06/86106.htmUbuntu 12.10+Hadoop 1.2.1バージョンクラスタ構成http://www.linuxidc.com/Linux/2013-09/90600.htmUbuntu上にHadoop環境を構築する(単機モード+擬似分布モード)http://www.linuxidc.com/Linux/2013-01/77681.htmUbuntuでのHadoop環境の構成http://www.linuxidc.com/Linux/2012-11/74539.htm単機版はHadoop環境図文教程の詳しい解を構築しますhttp://www.linuxidc.com/Linux/2012-02/53927.htmHadoopの詳細については、Hadoopの特集ページを参照してください.http://www.linuxidc.com/topicnews.aspx?tid=13
本明細書では、リンクアドレスを永続的に更新します.http://www.linuxidc.com/Linux/2015-09/122873.htm