zookeepr+kafkaクラスタ構築(二)
zookeeper+kafkaクラスタインストールの2これは前の記事の続編であり、kafkaインストールはzookeeperに依存する必要があります.本稿と前の記事は、本番環境に直接使用できる本格的な分散インストール構成です.zookeeperインストールリファレンス:まず、いくつかのkafkaの概念を理解します.kafkaはメッセージキューサーバであり、サービスはbrokerと呼ばれ、メッセージ送信者はproducerと呼ばれています.メッセージ受信者をconsumerと呼ぶ.通常、複数のbrokerを配備して高可用性のメッセージサービスクラスタを提供します.典型的には3つのbrokerです.メッセージはtopicの形式でbrokerに送信され、消費者はtopicを購読し、必要に応じて使用する消費モデルを実現する.TOpicを作成するにはreplication-factor(通常=broker数)を指定する必要があります.各topicには複数のパーティション(partition)があり、各パーティションのメッセージ内容は重複しない:
test topic, 2, test "msg1:hello beijing" "msg2:hello shanghai" , ( )?
msg1 test.1, test.2. kafka.producer.Partitioner :
interface Partitioner {
int partition(java.lang.Object key, int numPartitions);
}
package org.mymibao.mq.client;
import kafka.producer.Partitioner;
public class DefaultKafkaPartitioner implements Partitioner {
private final static int FIRST_PARTITION_ID = 1;
public int partition(Object key, int numPartitions) {
return FIRST_PARTITION_ID;
}
}
NETWORKING=yes
HOSTNAME=zk1
broker.id=0
port=9092
host.name=hadoop0
advertised.host.name=hadoop0
...
num.partitions=2
...
zookeeper.connect=hadoop0:2181,hadoop1:2181,hadoop2:2181
broker.id=1
port=9092
host.name=zk2
advertised.host.name=zk2
...
num.partitions=2
...
zookeeper.connect=hadoop0:2181,hadoop1:2181,hadoop2:2181
NETWORKING=yes
HOSTNAME=zk3
broker.id=2
port=9092
host.name=zk3
advertised.host.name=zk3
...
num.partitions=2
...
zookeeper.connect=hadoop0:2181,hadoop1:2181,hadoop2:2181