スクラムジェットデータ処理プラットフォーム入門

無負荷データ処理応用のための新しいエンジン
当社のスクラムジェットデータAppsのエンジンを配備し、Serverlessアプリケーションを実行するアプローチがありますソフトウェア・バス、統合プラットホーム、およびFAA提供のような分野の解決とは異なるいくつかの局面で.本稿は我々のアプローチを説明する.あなたがそれを面白いと思うかもしれません.

データ処理プラットフォーム
我々のソリューションとそのデータエンジンの中心は「スクラムジェット変換ハブ」と呼ばれています.それはGitHubのスタンドアロンソフトウェアパッケージとして利用可能であり、私たちのスクラムジェットクラウドプラットフォームのコア要素となります.
3つの概念を一つの解決策として組み合わせると、「データ処理プラットフォームの3つ」という名前になります.

のデータ処理エンジン

無サーバデータアプリケーション

は、専用のCLI(両方のI/Oと管理終点をカバーします)

でAPIを完了します

それぞれのポイントを別々に見ましょう.

データ処理エンジン
スクラムジェット変換ハブは、サーバーレスアプリケーション(シーケンス)の統合配備、ランタイム、管理、実行計画を作成します.
要するに、3番目のステップでデータ処理を始めることができます.
配備する

si sequence send <sequence-package-tar>

ラン

si sequence run <sequence-id>

データを送る

curl -H “Content-Type: application/octet-stream” — data-binary “@file.txt” <instance-input-endpoint>

あなたは私たちのシーケンス単純なHTTPリクエスト、ファイルに投稿するには、ストリームを送信したり、別のストリームまたはAPIからデータを読んでも無料です.
典型的なマイクロサービスアーキテクチャに反して、コンテナ化されたイメージを構築する高価なステップがないことに注意してください、それをレジストリにプッシュして、マイクロサービスを実行するためにコンテナのオーケストラにダウンロードします.ディレクトリからデータを1分以内に処理するシーケンスに移動できます.
我々は、我々のアプリのパッケージを行うが、そのサイズはキロバイトではなく、コンテナの画像の場合と同様にメガバイトの何百もの測定されます.最小のアプリケーション設計は、より良いパフォーマンス、最適化された資源使用とより単純なCI/CDプロセスを与えます.
我々は、短い、3分のデモを準備して、全体のアプリケーション(シーケンス)の準備、展開、および実行プロセスを示して私たちのYouTubeチャンネルで.以下をチェックしてください.

無セルデータアプリケーション
ユーザアプリケーションのシーケンスを呼び出します.彼らは連続データとストリーム処理を実行する能力を持っています.
それぞれのシーケンスには簡単な構造があります.少なくとも2つのコアファイルを持つディレクトリです.

パッケージ.シンプルなJSONファイルのシーケンスメタデータを記述する

インデックス.[ JS/TS ] - JavaScriptまたはシーケンスコードを使用してファイル形式.あなたが好きなら、あなたは複数のファイルであなたのアプリケーションを構造化することができます.

下に、サンプルの「Hello World」シーケンスの1つの内容があります.

const {DataStream} = require(“scramjet”);
​
module.exports = async function(stream, start = 0, end = 1000) {
 await DataStream.from(async function*() {
 let i = +start || 0;
 while(i++ < end) {
 await new Promise(res => setTimeout(res, 1000));
 yield {x: i};
 }
 })
 .do(console.log)
 .run()
}

あなたはイントロREADMEと私たちの専用のリポジトリscramjetorg/scramjet-cloud-docsでより多くのサンプルを見つけることができます

APIとCLI
私たちのCLIで利用可能なコマンドを通して、変換ハブAPIを見ましょう.

pack [ options ]-シーケンスコードをtarにするパッケージディレクトリ.GZファイル

Host [コマンド] -監視し、ホスト

のバージョンをチェックします

Config Chunc [コマンド] -表示と管理

シーケンスのSAN SEQ [ Command ]-パック、展開、管理、および監視シーケンス(APPテンプレート)

インスタンスのinst [ command ]-インスタンス(実行中のアプリケーション)を管理し、監視する
上記のコマンド(および関連API)は、それの上に実行しているデータ処理エンジンとServerlessアプリの完全な管理をカバーします.
起動したら、実行中のインスタンスは以下のAPIエンドポイントを公開します.

の入力、出力

stdin、stdout、stderr

ログ、

のモニタリング

HearEvent(例えば)、イベント(例)

ストップ、殺し

このアプローチは「バッテリー付属」アプローチに続き、実行中のインスタンスは同じように扱われます.

なぜ我々のスクラムジェット雲プラットホーム
上記のアプローチはいくつかの利点があります.

自由と柔軟性-データのサイズとアプリケーションの実行時間に人工的な制限はありませんいいえ「実行時間制限」または「ペイロードサイズ制限」.

完全にプログラム可能なデータ収集、様々なデータ処理タスクを実行しているインスタンスの間のパターンを作成する能力を持つ値効果的なデータワークフローのための

大きな価格.

設計による

パフォーマンス-プロキシ、キューとゲートウェイなしでデータの瞬間的な実行.最小限のリソース消費と光のアプリ.

作品クロスネイティブ(エッジ＆雲)-ボックス間の間にまたがる.スタンドアロンスクラムジェット変換ハブと我々のスクラムジェットクラウドプラットフォームを介してエッジまたはスマートデバイス上のアプリケーションの同じタイプを実行します.

概要として、以下のプラットフォームでのデータ処理のさまざまなパターンを示す図があります.