Hadoop内のアルゴリズムについて


目的

Hadoop内のアルゴリズムについてまとめていきます。

Hadoop内のアルゴリズム

MapReduce
YARN
Tez

MapReduce

並列処理フレームワーク MapReduce
MapReduce

YARN

YARN (Yet Another Resource Negotiator)
リソース管理と処理コンポーネントを切り離す
MapReduce エンジンに比べ、YARN にはスケーラビリティー、効率性、柔軟性という点で勝っています。

Tez

TezそのものはYARNにおける並列処理エンジンについてMapReduceの代替となることを意識しています。