KafKaクラスタのインストール、構成
9339 ワード
一、事前準備
1.kafka公式サイト:http://kafka.apache.org/downloads.
2.使用バージョンのダウンロードを選択します.
3.kafkaクラスタ環境準備:(linux)
192.168.145.129 ホスト名:kafka 01
192.168.145.130 kafka02
192.168.145.131 kafka03
4.今回のインストールバージョン:kafka_2.10-0.8.2.0
5.注意事項
①: kafkaはzookeeperクラスタに依存する.
②:クラスタ環境は半数以上の機械が正常に動作してこそ、対外的にサービスを提供することができる.
③:Java jdk1.7
6.KafKa公式文書:http://kafka.apache.org/documentation.html
二、KafKaクラスタのインストール
1.試験環境への登録
192.168.145.129 kafka01
2.kafka解凍へのユーザーの切り替え:
1
3.kafka 01と名前を変更:
1
4.構成:
1
5.confディレクトリのserver.propertiesファイルを変更するだけ
6.server.propertiesファイル構成の説明:
以上broker.id、port、host.nameおよびzookeeper.connectは必要に応じて変更してください.
7.kafkaサーバーを起動する:
1
三、KafKaサービステスト&常用コマンド
1.サービスが開始されたかどうかを確認する
1
2
3
4
2.kafka 02、kafka 03機器で上記手順を繰り返し、テストに入る
1)新しいTopicを作成する:
./kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 1 --partitions 3 --topic topic2
2)Topicリストを検索する:
./kafka-topics.sh --list --zookeeper node1:2181,node2:2181,node3:2181
3)Topicの詳細を表示する:
./kafka-topics.sh --describe --zookeeper node1:2181,node2:2181,node3:2181 --topic topic2
4)パブリッシャーconsole-producerの作成:
./kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic topic2
5)購読者console-consumerを設立する:
./kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic topic2 --from-beginning
転載先:https://www.cnblogs.com/liuys635/p/10806707.html
1.kafka公式サイト:http://kafka.apache.org/downloads.
2.使用バージョンのダウンロードを選択します.
3.kafkaクラスタ環境準備:(linux)
192.168.145.129 ホスト名:kafka 01
192.168.145.130 kafka02
192.168.145.131 kafka03
4.今回のインストールバージョン:kafka_2.10-0.8.2.0
5.注意事項
①: kafkaはzookeeperクラスタに依存する.
②:クラスタ環境は半数以上の機械が正常に動作してこそ、対外的にサービスを提供することができる.
③:Java jdk1.7
6.KafKa公式文書:http://kafka.apache.org/documentation.html
二、KafKaクラスタのインストール
1.試験環境への登録
192.168.145.129 kafka01
2.kafka解凍へのユーザーの切り替え:
1
$ tar -zxvf kafka_2.10-0.8.2.0.tgz 3.kafka 01と名前を変更:
1
$ mv kafka_2.10-0.8.2.0.tgz kafka01 4.構成:
1
$ cd kafka01 /conf 5.confディレクトリのserver.propertiesファイルを変更するだけ
6.server.propertiesファイル構成の説明:
1 broker.id=0 # ， zookeeper myid
2 port=9092 # kafka 9092 3 host.name=localhost # ， 0.8.1 bug，DNS ， 。 4 num.network.threads=3 # borker 5 num.io.threads=8 # borker I/O 6 log.dirs=/tmp/kafka-logs # ， “，” ， num.io.threads ， ， topic ， ， 7 socket.send.buffer.bytes=102400 # buffer ， ， ， 8 socket.receive.buffer.bytes=102400 #kafka ， 9 socket.request.max.bytes=104857600 # kafka kafka ， java 10 num.partitions=1 # ， topic 1 11 log.retention.hours=168 # ，168 ，7 12 message.max.byte=5242880 # 5M 13 default.replication.factor=2 #kafka ， ， 14 replica.fetch.max.bytes=5242880 # 15 log.segment.bytes=1073741824 # ： kafka ， ，kafka 16 log.retention.check.interval.ms=300000 # 300000 log （log.retention.hours=168 ）， ， 17 log.cleaner.enable=false # log ， ， 18 zookeeper.connect=localhost:2181 # zookeeper 以上broker.id、port、host.nameおよびzookeeper.connectは必要に応じて変更してください.
7.kafkaサーバーを起動する:
1
$ bin /kafka-server-start .sh config /server .properties & 三、KafKaサービステスト&常用コマンド
1.サービスが開始されたかどうかを確認する
1
2
3
4
# jps $ jps 21450 Kafka 25199 Jps 2.kafka 02、kafka 03機器で上記手順を繰り返し、テストに入る
1)新しいTopicを作成する:
./kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 1 --partitions 3 --topic topic2
2)Topicリストを検索する:
./kafka-topics.sh --list --zookeeper node1:2181,node2:2181,node3:2181
3)Topicの詳細を表示する:
./kafka-topics.sh --describe --zookeeper node1:2181,node2:2181,node3:2181 --topic topic2
4)パブリッシャーconsole-producerの作成:
./kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic topic2
5)購読者console-consumerを設立する:
./kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic topic2 --from-beginning
転載先:https://www.cnblogs.com/liuys635/p/10806707.html