kafka構築及びテスト

7088 ワード

kafka


紹介する


Kafkaのgithubと公式サイト.

ビルド


zookeeper 2181の構成


zookeeperの構成要件はこのドキュメントを参照してください.
主にこのチュートリアルを参考にします.

構成kafka 9092


構築は主にこのチュートリアルと公式tutorialを参考にします.

出現したerrorの構築と解決

  • zookeeperのbinの下のログzookeeper.out接続refusedが表示されます.面倒ですが、ファイアウォールかポート占有かhostsファイルリファレンスかもしれません.http://rayfuxk.iteye.com/blog/2279596 https://blog.csdn.net/cflys/article/details/76598413 https://blog.csdn.net/newjueqi/article/details/38518917 https://blog.csdn.net/caimengyuan/article/details/72875621
  • 出現warning調べた資料は以下の文listeners = PLAINTEXT://node1:9092
    • を配置していないことを発見した.
  • errorが現れて資料を調べたところ、プロファイルのPLAINTEXTはあなたが要求した内容とは異なるためです.たとえば、私がプロファイルで構成したlisteners=PLAINTEXT://10.127.96.151:9092ですが、テスト時に要求したのは./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic1 --from-beginningが正しいのは./kafka-console-consumer.sh --bootstrap-server 10.127.96.151:9092 --topic topic1 --from-beginningであるか、node 14
    • を変更する必要があります.
  • topicsエラーがテーマの生産/消費メッセージとして作成された場合、node 14,node 15を使用してもよいが、node 16時報test1=LEADER_NOT_AVAILABLEエラー、この場合Leader: 14 Replicas: 16,14,15 Isr: 14,15しかしnode 14 node 15に変更しても問題はない.理由はnode 16でプロファイルを調べたに違いない.すべてのnodeのzoo.cfgの中でserverはnode16をndoe16と書き、修正した.
  • まだnode 16に接続できませんすべてのzookeeperとkafkaを閉じて、先にすべてのzookeeperを起動して正常を発見して、kafkaのnode 16を起動して、テーマを見て大丈夫で、producerは問題があることを発見して、error情報によって、node 16に接続できないで、更にnode 14を起動して、テーマを見て大丈夫で、producerはerrorがno route to hostに現れます.チェックsudo firewall-cmd --stateやはりnode 16ファイアウォールはまだありますが、node 14 node 15はすべてファイアウォールを閉じていますsudo systemctl stop firewalld.servicesudo systemctl disable firewalld.service参考ここ

    • うんてん


    開始

  • zookeeeperの起動:すべてのノード
    • ./zkServer.sh start
./zkServer.sh status
./zkServer.sh restart
  • 起動kafka:全ノード
    • nohup ./kafka-server-start.sh -daemon ../config/server.properties >/dev/null 2>&1 &

    ./kafka-server-stop.sh
  • jps:jpsコマンド現在のjavaプロセス
    • を表示

    スタンドアロン起動

  • 起動zookeeeper:単機
    • ./bin/zookeeper-server-start.sh config/zookeeper.properties
  • 起動kafka:だからノード
    • ./bin/kafka-server-start.sh config/server.properties

    きほんそうさ


    コメント:
  • bootstrap.serversは、クライアントの起動時にホット起動可能な接続者が1人いるだけで、起動が完了すると、クライアントは現在のクラスタのすべてのノードの情報を知ることができるはずであり、後でクラスタが拡張すると、bootstrapでもクライアントは自動的にリアルタイムで新しいノードの情報を得ることができる.serversの中の掛け落としも正常に動作するはずです.ノードが掛けた後にクライアントも再起動しない限り.
  • --broker-listは--bootstrap-serverの旧バージョン
  • 新規トピック:作成時にreplicationがbrokerを超えてはいけません.partitionはどうでもいいです
    • ./kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 3 --partitions 3 --topic test
  • トピックの表示
    • ./kafka-topics.sh --list --zookeeper node1:2181
  • テーマ詳細
    • ./kafka-topics.sh --describe --zookeeper node1:2181 --topic test
  • パブリッシャの作成
    • ./kafka-console-producer.sh --broker-list node1:9092 --topic test
  • 消費者の作成
    • ./kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
  • トピックの削除:topicの削除には別途の構成が必要です.この投稿を参照してください.
    • ./kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --delete --topic "test"

    以上の操作はすべて実行に成功し、構築は完了しました.

    shellスクリプトテスト付き

  • チュートリアル公式テストチュートリアルはkafka 0.8のテスト構想を提供した.次の資料も参照してください.
  • http://blog.csdn.net/luoww1/article/details/70839727
  • http://blog.csdn.net/luoww1/article/details/70839727
  • http://blog.csdn.net/u013970991/article/details/52061794
  • https://www.cnblogs.com/xiaodf/p/6023531.html 【*】
  • http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark/【*】

  • テストでjvmサイズを調整する必要がある場合があります
    • kafka/config/serverを構成する.propertiesファイルローカルKAFKA_HEAP_OPT="-Xmx2G"
    sogon KAFKA_HEAP_OPT="-Xmx30G"

    producer

  • このメールによると、kafka 0.9以降、threadの構成はサポートされず、multi processで実行する必要があることが分かった.しかし、コーディネーターがcontributeにいることもあります.
  • AWSでテストしたところ、ストレージが足りないという問題があり、機械を買い直し、8 gが16 gになってから走りました.現在のストレージ状況は、df -hで確認できます.50000000*128/1024/1024/1024 = 5.96 Gテストごとに発生するデータ量を考慮します.

    • consumer


    補足対象

    java client


    JAvaクライアントコードは、次のように参照できます.
  • http://blog.csdn.net/xj626852095/article/details/51711076
  • http://orchome.com/303

    • JAva client projectに現れるerrorと解決

  • maven構成java client projectはもっと便利だと思っていたが、mavenにlog 4 jのjarパケットが欠けていたとは思わなかった.実行エラーはこのパケットの問題とは言わなかった.海外のフォーラムでjava projectを作成してパッケージを1つずつ入れてもいいと言われているのを見て、warningがこのlog 4 jを提示しているのを見つけて、libsフォルダにも置いて、propertiesのJava Build PathのLibrariesを設定すればいいのです.現在、mavenのソリューションは不明です.
  • terminal運転エラー.正しいコマンドは、プロジェクトディレクトリ:javac -cp "libs/*" src/com/exam/main/Main.java -d bin/プロジェクトディレクトリ/bin:java -cp ".:../libs/*" com/exam/main/Mainjavaで実行する.classは検索する必要があります.ローカルディレクトリです.linuxの下で使う:分けます.JAvaはpackageのディレクトリで、相対パスが正しい

    • mavenプロジェクト


    mavenエラー発見は1.0.0パッケージ自体に問題がありpom.xmlが1.0.1に変更された後、問題が解決します.

    プロジェクトの作成

  • プロジェクトを作成し、そのドキュメントに基づいてpomを変更する.xml、次の依存を追加します.
    • 
    org.apache.kafka
    kafka-clients
    1.0.1
  • 右クリック項目jre system libraryを9.0.1に変更
  • 右クリックproperties-java compiler変更compiler compliance levelは9です.*
  • src/main/javaでcomを作成する.exam.mainパッケージ、Mainを作成します.JAvaは、次のテストコードに書き込めばよい.
    • package com.exam.main;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class Main {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer producer = new KafkaProducer<>(props);
        for(int i = 0; i < 100; i++)
            producer.send(new ProducerRecord<>("test", Integer.toString(i), Integer.toString(i)));
        producer.close();
    }
}
  • コードをテストする場合は、zookeeper、kafkaを実行し、consumerを同時に開いて観察する必要があります.
    • 自動化テスト--selenium-webDriver
    テンプレートモード(Template pattern)