HadoopをMac上でインストール

このチュートリアルでは、Hadoopとそのアーキテクチャの簡単なリマインダを含め、HadoopシステムをMacマシンにインストールする方法を学びます.
Hadoopについて話すとき、おそらくあなたの心を横切る最初の考えは大きいデータです.Hadoopは大量のデータを格納する必要があるので、大きなデータで現れました.だけでなく、それを格納するが、分析し、信頼性、スケーラブルで手頃な価格の方法でそれにアクセスします.
Hadoopシステムは二つの重要な大きなデータ問題を解決する最初の問題は、コンピュータのいずれかが失敗した場合?伝統的にマシンが故障した場合、バックアップがない限り、格納されている情報はすべて失われます.Hadoopシステムにはこの問題を回避するメカニズムがあります.
第2の挑戦的な問題は、異なるハードディスクから情報を結合していました.あなたが多くのハードディスクに保存された大量のデータを分析しているとき、この情報にアクセスして、結合することは挑戦的でありえます.幸いにも、Hadoopはこの問題に取り組みます.

Hadoopとは

Hadoopは、信頼性の高いスケーラブルな分散コンピューティングのために最適化されたオープンソースソフトウェアです.それはどういう意味ですか.分散コンピューティングは、処理タスクを実行する単一のコンピュータの代わりに、タスクがいくつかのマシンによって実行されることを意味します.複数のコンピュータは、すべて1つの目標を試みるために一緒に接続.
Hadoopソフトウェアは、データ損失を避けるメカニズムを含みます.そして、それはスケーラブルなシステムです.そして、データが成長するとき、より多くのコンピュータがシステムに加えられることができます.
Hadoopは大きなファイルを扱うように設計されています.ファイルをHadoopに格納すると、ファイルは小さな部分で分割され、各部分はクラスタ内の異なるマシンに格納されます.さらに、各ファイルブロックは、データ損失を避けるためにいくつかのマシンで複製されます.
システム全体を1台のサーバからサーバの数千に拡張することができます.結果として、各サーバーの計算とストレージの電力は、本当に強力なシステムに結果が結合されます.
Learn more about Hadoop's architecture
Learn about different installation modes

スタンドアロンインストール

我々が見たように、あなたは3種類のモードでMac上でHadoopをインストールすることができます.その一つがスタンドアロンです.スタンドアローンは分離されたデーモンが全く存在しないことを意味します.スタンドアローンモードでHadoopをインストールする手順を参照してください.

ステップ1 ) Javaをチェックする

HadoopはJavaで書かれたソフトウェアであり、舞台裏ではJavaを使用しています.したがって、最初にすることは、JavaがインストールされているHadoopを示すことです.そのためには、マシンにJavaRangeホーム環境変数を設定する必要があります.

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-14.0.2.jdk/Contents/Home/

次に、Javaをインストールします.

java --version

ステップ2 ) Hadoopをダウンロードする

次のウェブサイトからHadoopをダウンロードすることができます
ミラーのいずれかを選択し、バージョンを選択し、ファイルをダウンロードHadoop - X . Y . Z . tar .GZ .

ステップ3 ) Hadoop環境変数を設定する

次に、Hadoop環境変数を作成します.HadOpRoundホーム環境変数を作成する必要があります.パスを変数として追加する必要があります.次のコマンドを実行します.

export HADOOP_HOME=~/sw/hadoop-x.y.z
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Run Hadoop on Pseudo Distributed Mode