Flink Kafkaから読み出したデータをMySQLに格納
1380 ワード
Flink Kafkaから読み出したデータをMySQLに格納
実行環境
データフォーマット
1.74.103.143 2018-12-20 18:12:00 “GET/class/130.html HTTP/1.1” 404 https://search.yahoo.com/search?p=Flink実戦
zookeeper
zookeeperの起動
コマンドライン入力zkserver(環境変数を設定)
kafka
スタートkafka
kafkaインストールディレクトリ
topicの作成
.binwindowsディレクトリの下
生産者を開く
消費者を開く
mysqlテーブルの作成
表データの表示
kafka,zookeeperインストール
flinkクリーニングデータ
実行環境
os Version:win10
Flink Version:1.6.2
Kafka Version:0.9.0.0
MySQL Version:5.6.21
データフォーマット
1.74.103.143 2018-12-20 18:12:00 “GET/class/130.html HTTP/1.1” 404 https://search.yahoo.com/search?p=Flink実戦
zookeeper
zookeeperの起動
コマンドライン入力zkserver(環境変数を設定)
> zkserver
kafka
スタートkafka
kafkaインストールディレクトリ
.\bin\windows\kafka-server-start.bat .\config\server.properties
topicの作成
.binwindowsディレクトリの下
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test001
生産者を開く
kafka-console-producer.bat --broker-list localhost:9092 --topic test
消費者を開く
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test001 --from-beginning
mysqlテーブルの作成
create table log_info(
ID INT NOT NULL AUTO_INCREMENT,
IP VARCHAR(50),
TIME VARCHAR(50),
CourseID VARCHAR(10),
Status_Code VARCHAR(10),
Referer VARCHAR(100),
PRIMARY KEY ( ID )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
表データの表示
select count(*) from log_info;
kafka,zookeeperインストール
flinkクリーニングデータ