UbuntuサーバーELK構築及びテストチェック

filebeatプロファイル

root@Product3:/etc/filebeat# cat filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_server/shared/log/ms.log
  fields:
    log_tpics: server
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_sidekiq/shared/log/ms.log
  fields:
    log_tpics: sidekiq
- type: log
  enables: true
  paths:
    - /application/nginx/logs/access810*.log
  fields:
    log_tpics: nginx
output.logstash:
  hosts: ["x.x.x.x:5044"]

Logstashプロファイル

root@Product4:/application/logstash-6.2.4/bin# cat ../config/02-beats-input.conf
input {
    beats {
#    host => "x.x.x.x"
    codec => plain{ charset => "UTF-8" }
    port => 5044
#    ssl => true
#    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
#    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}
output {
  elasticsearch {
    codec => plain{ charset => "UTF-8" }
    hosts => "http://localhost:9200"
#    sniffing => true
    manage_template => false
    index => "%{[fields][log_topics]}--%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

logstashのオープンファイル数と説明の表示

root@Product4:/application/logstash-6.2.4/bin# curl -XGET 'localhost:9600/_node/stats/process?pretty'
{
  "host" : "Product4",
  "version" : "6.2.4",
  "http_address" : "127.0.0.1:9600",
  "id" : "6e6fc083-b27e-4227-8dd4-dec6bcc5ff4d",
  "name" : "Product4",
  "process" : {
    "open_file_descriptors" : 146,
    "peak_open_file_descriptors" : 147,
    "max_file_descriptors" : 65536,
    "mem" : {
      "total_virtual_in_bytes" : 14873796608
    },
    "cpu" : {
      "total_in_millis" : 134210,
      "percent" : 0,
      "load_average" : {
        "1m" : 0.79,
        "5m" : 0.77,
        "15m" : 0.48
      }
    }
  }
}

「open_file_descriptors」と「peak_open_file_descriptors」に注意してください.これらは1000を超えています(通常100～500の間にある場合).この措置が4桁または5桁に達すると、logstashは低下している(または低下している)
上記のカウンタが5ビットにある場合でも、「lsof-p LogstashPID|wc-l」コマンドはより小さな数字(400未満)を返します.
例えば、上記の例では、logstashは10000に達したときに低下している.(Probより早い)
しかし、私はまだここから何をするか分かりません.
これは明らかにlogstashの間違いですが、誰も弾力性に関心を持っていないようです.
curlコマンドelasticsearchのクラスタ状態の表示
curlコマンドを使用してクラスタに関する情報を取得することができます.

_cat代表表示情報

nodesはノード情報を表示するためにデフォルトで1行として表示されるので、ナイフを使いますか?preetyは情報をよりよく表示する

?preetyは出力情報をより友好的に表示する

curl -XGET 'http://172.18.68.11:9200/_cat/nodes?pretty'
172.18.68.12 18 68 0 0.07 0.06 0.05 mdi - els2
172.18.68.13 25 67 0 0.01 0.02 0.05 mdi * els3             #  * 
172.18.68.11  7 95 0 0.02 0.04 0.05 mdi - els1

クラスタ情報、現在のノード統計などをもっと表示したい場合は、コマンドを使用して表示できるすべての情報を取得します.

curl -XGET 'http://172.18.68.11:9200/_cat?pretty'