ELKログ管理システム-logstashクラスタ導入チュートリアル

1.導入準備
a)logstashインストールパッケージ-->公式ダウンロードアドレス(このチュートリアルバージョンはlogstash-7.6.1.1.tar.gz)
b)3台のサーバー40,41,42
 
注意:各サービスlogstash間には通信がなく、kafkaのgroup_を介してidメッセージが一度しか消費されない機能を一貫して実現する擬似クラスタ
2.導入の開始
a)解凍logstash-7.6.1.tar.gzを指定したディレクトリに移動

tar -xvf logstash-7.6.1.tar.gz -C /usr/local/elk/

b)configでmylogstash-kafkaを作成する.confファイル

input {
  kafka {
        codec => "json"
        group_id => "logstash"
        #   topics_pattern =>       filebeat    topic  。
        topics_pattern => "test"
        #    Kafka       
        bootstrap_servers => "192.9.25.40:9092,192.9.25.41:9092,192.9.25.42:9092"
        auto_offset_reset => "latest"
  }

  kafka {
        codec => "json"
        group_id => "logstash"
        #   topics_pattern => "nginx"      filebeat    topic  。
        topics_pattern => "test001"
        #    Kafka       
        bootstrap_servers => "192.9.25.40:9092,192.9.25.41:9092,192.9.25.42:9092"
        auto_offset_reset => "latest"
  }
}


output {
  elasticsearch {
    hosts => ["http://192.9.25.40:9200","http://192.9.25.41:9200","http://192.9.25.42:9200"]
  }
}

3.binでのlogstashを起動する

nohup ./logstash -f ../config/mylogstash-kafka.conf &

#      
tial -100f nohup.out