kafka env setting

設定

wget http://mirror.navercorp.com/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz

tar -zxvf kafka_2.12-2.4.0.tgz

環境設定

1) zookeeper

vi config/zookeeper.properties

dataDir

client port

initLimit/syncLimit

server.N=ip:10182:10183

DataDirでmyidファイルを作成し、N(インスタンスID)を記入する
2) kafka

vi config/server.properties

broker.id=N(myId)

advertised.lisners=PLAINTEXT://ip:10092

zookeeper.connect=ip:10181

実行

まずzookeeperを実行

zookeeper-server-start.sh ../config/zookeeper.properties &

運転kafka

kafka-server-start.sh ../config/server.properties &

トピックの作成

1)トピックの作成

kafka-topics.sh --create --zookeeper localhost:10181 --replication-factor 1 --partitions 1 --topic click_log

2)テーマリストの確認

kafka-topics.sh --list -zookeeper localhost:10181

3)トピックにメッセージを作成する(product)

kafka-console-producer.sh --broker-list localhost:10181 --topic log

4)件名のメールチェック(comsume)

kafka-console-consumer.sh --bootstrap-server localhost:10092 --topic log --from-beginning