あらし

あらし

ストームはメモリ上で並列処理스피드 데이터乙のソフトウェアである.速度データは,ソースシステムにおける多くのイベント(クリック/タッチ,位置,ドリルなど)によって生成され,小さいが大規模で同時多発する特性を有する.嵐はまた、メモリ上ですべてのデータを分散並列処理し、高速データをリアルタイムで処理できる強力な機能とアーキテクチャを提供します.
嵐は、データを完全にリアルタイムで処理し、同時にデータを処理し、許可されていないアーキテクチャに少しの反転を適用しようとします.

ストームの基本要素

プライマリ・コンポーネントは、Spoutの外部からデータを入力し、処理してレイヤーを作成し、その後、実際の分散操作を実行するためにBoltにレイヤーを送信し、フィルタリング、集約、結合などの操作を並列に実行するトポロジSpout-Bootのデータ処理フローを定義する.1つのSpoutおよび複数のBolt構成ネストされたトポロジをSupervisorに配備し、タスクを割り当て、Supervisorを監視し、必要に応じてSpoutおよびBoltをExerSupervisorで実行されるフェイルオーバー処理のJavaプロセス、およびExerWorkerで実行されるJavaスレッドTaskeSpoutおよびBoltオブジェクトに割り当てます.

ストームアーキテクチャ

Nimbusは、JavaプログラムからなるトポロジーJarを配備するために、プライマリ・キーからSupervisor情報を取得します.

各Supervisorに対応するトポロジーファイルを送信すると、SupervisorはそのノードにWorker、Executorを作成し、Spout、Boltにタスクを割り当てます.

Supervisorが正常に配備されている場合、External Source Application 1生成されたデータからSpoutを介して流入します.

これをBoltに再送信し、処理データを分散し、処理結果をBoltを介してターゲットシステム——+457914に送信する.

* 이때 Task, Executor 개수를 증가시키면서 대규모 병렬 처기가 가능해지고 Spout와 Bolt의 성능이 향상된다.

嵐の特性:強力なフェイルオーバ機能.特定のSupervisorによって作成されたWorkerプロセスが終了すると、Supervisorは新しいWorkerプロセスを再作成します.処理中のデータは、前の受信ポイントにロールバックされます.トポロジが正常に復元されると、ロールバックポイントから再処理が開始されます.

ストームの使用方法

現在構成されているアーキテクチャで嵐をサポート

現在構成されているアーキテクチャでは、嵐は運転者のリアルタイム運転情報に対してデータルーティングとストリーム処理を行う.カフカのSpoutで流入した全ての運転者の走行情報データをHBAse BoltとRedis Boltに分けて処理する.HBAse Boltはすべての実行情報を無停止でマウントし、Redis Boltはルールエンジンがesperを検出しない限り、実行モードの情報のみをRedisサーバにマウントします.