位置づけ

lenses boxとやらを使うと次の取り組みに使えそうだったので、
環境構築を試しながらスクショやらメモやらを残している。

goal

lensesをつかってkafka clusterとその周辺の仕組みを雑に動かしたい

インフラ面

lensesio/boxでdockerで実験環境のようなものを動作させられる

アプリ面

kafka topicを入力に、Streaming SQLを実行、データフローの可視化ができそう。

start

ここから実施。
https://lenses.io/start/

メールアドレスを入れて登録

以下のようなメールがきた。

実行してみる。

メールの中にdocker run コマンドが入ってるので実施

以降はこの手順に沿って手を動かす
https://lenses.io/apache-kafka-docker/

ブラウザから管理画面へ

admin/admin でログイン

それっぽい画面に到達

SQL Studioとやらでデータをみる

なんのデータを見ているのかわからないが 手順に従いSQLでデータを見る。

実行結果が中央下側。

新しいKafkaトピックを作る

新しくデータを投入する。
Exploreを選択すると右上にCreateTopicがある

適当にトピックを作成

データパイプラインの作成

データパイプラインを作ってリアルタイムイベントをKafka topicとして投入する。

コネクター画面へ移動＆New Connector

Fileコネクタを選択し、設定をコピペする。

手順にはないが、SQL Studioでクエリをしてみる

何かは取れてそう

SQL Processor

streaming SQLでリアルタイムデータを処理

手順に含まれていた　streaming SQLを定義
内容的には speed_boatsができる模様

SET defaults.topic.autocreate=true;
INSERT INTO speed_boats
  SELECT STREAM MMSI, Speed, Longitude AS Long, Latitude AS Lat, `Timestamp`
  FROM sea_vessel_position_reports
  WHERE Speed > 10;

手順にないがExploreからデータを確認。
SQLに書かれているようにSpeedが10以上が抽出されたトピックが新しくできている。

Consumer Monitor

データ消費者の可視化（手順上画面開くだけ・・・かな）

リアルタイムデータフロー

Kafkaのトピックからどうデータが流れるかの可視化。

アラートの設定

略