Kafkaクラスタの導入と使用

Kafkaクラスタ配備
配備手順
hadoop102
hadoop103
hadoop104
zk
zk
zk
kafka
kafka
kafka
http://kafka.apache.org/downloads.html
インストールファイルを解凍してプロファイルを変更する

$ vi server.properties


#broker       ，    
broker.id=0
#      topic
delete.topic.enable=true
#           
num.network.threads=3
#      IO     
num.io.threads=8
#           
socket.send.buffer.bytes=102400
#           
socket.receive.buffer.bytes=102400
#             
socket.request.max.bytes=104857600
#kafka         
log.dirs=/opt/module/kafka/logs
#topic   broker      
num.partitions=1
#       data        
num.recovery.threads.per.data.dir=1
#segment         ，      
log.retention.hours=168
#    Zookeeper    
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

環境変数の設定

# vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

# source /etc/profile

インストールパッケージを他のマシンに配布
コンフィギュレーションファイルは、hadoop 103およびhadoop 104でそれぞれ変更される

/opt/module/kafka/config/server.properties  broker.id=1、broker.id=2
 ：broker.id    

起動クラスタはhadoop 102、hadoop 103、hadoop 104ノードの順にkafkaを起動する

$ bin/kafka-server-start.sh config/server.properties &

クラスタを閉じる

$ bin/kafka-server-stop.sh stop

Kafkaコマンドライン操作
現在のサーバのすべてのtopicを表示

$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list

topicの作成

$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first

    ：
--topic   topic 
--replication-factor       
--partitions       

topicの削除

$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first

  server.properties   delete.topic.enable=true              。

メッセージの送信

$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
>hello world
>upuptop

消費情報

$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --from-beginning --topic first

--from-beginning：  first               。               。

Topicの詳細を表示

$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first 

***カニ!!