Kafkaクラスタ設置部署

4074 ワード
カフカ
  • kafkaインストールパッケージのダウンロード先：http://www-us.apache.org/dist/kafka/2.0.0/kafka_2.11-2010.tgz
  • 環境準備1.3台の仮想マシンを用意する2.各マシンにjdk環境をインストールする3.ネット統一hostsマッピング配置4.ファイアウォールを閉じる
  • kafkaインストールパッケージ
    https://blog.csdn.net/weixin_37490221/article/details/80844825
    • をアップロードします。
  • 解凍
    [root@hadoop01 local]# tar -zxvf kafka_2.11-2.0.0.tgz
[root@hadoop01 local]# ln -s kafka_2.11-2.0.0 kafka   （     ）
  • 環境変数の設定
  • 環境変数構成ファイル
    [root@hadoop01 kafka]# vim /etc/profile
[root@hadoop01 kafkal]#
    を開く
  • 環境変数を修正し、profileファイルに下記の内容を追加します。
    #set kafka environment
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:${KAFKA_HOME}/bin
  • 設定ファイルを読み込み、それを有効にするsource /etc/profile
    • 。
  • Kafkプロファイル
    [root@hadoop01 config]# vim server.properties
    を修正して、server.propertiesの中で以下の内容を修正すればいいです。
    ...
broker.id=0
...
listeners=PLAINTEXT://:9092
...
log.dirs=/usr/local/kafka/kafka-logs
...
zookeeper.connect=hadoop05:2181,hadoop06:2181,hadoop07:2181
...
    • 。
  • インストールパッケージを他のマシン
    [root@hadoop01 local]# scp -r /usr/local/kafka root@hadoop02:/usr/local/
[root@hadoop01 local]# scp -r /usr/local/kafka root@hadoop03:/usr/local/
...
    • に配布する。
  • 他のマシンのプロファイルを変更するhadoop 02でconfig/server.propertiesファイル中のbrook.id=1 hadoop 03上でconfig/server.propertiesファイル中のbrook er.id=2
  • kafkaクラスタを起動する
  • まず、zookeeperクラスタ
    • を起動する。
  • kafka 
    $> bin/kafka-server-start.sh config/server.properties
    kafakクラスタ毎にスクリプトを起動する：https://blog.csdn.net/weixin_43215250/articale/details/82897900
  • は、
    $> netstat -anop | grep 9092
    を起動するかどうかを検証する
    • 。
  • プロファイルserver.propertiesパラメータ説明は、Kafkaプロファイル詳細
    • を参照してください。
    どのようにuuntuでphpコードを実行しますか？