【第１回】Confluent Platformのデモを試してみる

はじめに

　最近Kafkaを機能拡張しているConfluent Platformの話を聞く機会が増えてきたのですが、話を聞くだけではよくわからない部分もあったのでConfluent社が提供するcp-demoというコンテンツがGitHub上にあったので、ひとつひとつの機能を実際に試してみることにしました。
参照：https://github.com/confluentinc/cp-demo

内容

　このデモのユースケースは、実際のWikipediaページへのリアルタイム編集を処理するApacheKafka®イベントストリーミングアプリケーションとなっています。

出典：https://docs.confluent.io/platform/current/tutorials/cp-demo/docs/overview.html

デモシナリオは次のとおりです。
ウィキペディアのイベントストリームは、実際のウィキィページで発生するリアルタイム編集の連続ストリームを公開しています。Kafkaソースコネクタのkafka-connect-sseはhttps://stream.wikimedia.org/v2/stream/recentchange からサーバー送信イベント（SSE）をストリーミングし、カスタムコネクトトランスフォームのkafka-connect-json-schemaがJSONを抽出します。
その後、これらのメッセージが、Kafkaクラスターに書き込まれます。このデモでは、ksqlDBとkafka Streamをデータ処理のために使用します。次に、Kafkaシンクコネクタのkafka-connect-elasticsearchがKafkaからデータをストリーミングし、分析のためにElasticsearchへデータを繋ぎKibanaで可視化します。すべてのデータはConfluentSchema RegistryとAvroを使用しており、CCC(Confluent Control Center)を管理と監視のために使用します。

オンプレミスでクラスタ構築する

　それでは実際にオンプレミスで構築していきたいと思います。
今回はcp-demoというDocker環境を利用してそれぞれの機能の確認をしていきます。
使用するDocker環境は少なくとも8GBのメモリ、２つ以上のCPUコアが割り当てられている必要があります。

設定

1.confluentinc / cp-demo GitHubリポジトリのクローンを作成します。

git clone https://github.com/confluentinc/cp-demo

2.cp-demoディレクトリに移動し最新リリースのブランチをチェックアウトします。

cd cp-demo
git checkout 6.2.0-post

環境のセットアップ

cp-demoのディレクトリの中にはワークフローをエンドツーエンドで実行するスクリプトが用意されています。
それを使用してDockerコンテナを起動し、環境を構成します。
また、このスクリプトにはオプションの設定も可能となっております。
　・CLEAN：構築された状態で証明書とローカルに構築されたConnectイメージを再生成するかどうか制御できます。
　・C3＿KSQLDB_HTTPS:Confluent Control CenterとksqlDBサーバがHTTPかHTTPSのどちらを使用するか制御できます。
　・VIZ:ElasticsearchとKibanaの有効/無効を制御できます。
今回は、オプションを使用せずスクリプトを実行します。

./scripts/start.sh

環境にもよりますが、最初の実行時は必要なDockerイメージをすべてダウンロードするので約15分ほど時間がかかります。

確認

ここでは環境が正しくセットアップされたか確認します。
１．Dockerコンテナの状態を確認します。

docker-compose ps

出力結果は以下のような内容になります。

２．http://localhost:5601/app/dashboards#/view/Overview をクリックし、Kibanaのダッシュボードを表示します。これが表示されればcp-demoのスクリプトが正常に完了しています。

３．cp-demoディレクトリ中のdocker-compose.ymlファイルがこのConfluentプラットフォームを構成しています。
https://github.com/confluentinc/cp-demo/blob/6.2.0-post/docker-compose.yml

次回は、この環境をもとにそれぞれの機能を見ていきたいと思います。