Elasticsearch + Kibana + Logstash + Filebeat でシスログ監視 [7.x]

ElasticsearchはLucene基盤の分散処理マルチテナント対応検索エンジンである。
オープンソースソフトウェアだが、現在はオランダ・アムステルダムに本社を置くElastic社が中心になって開発が進められている[1]。
なお「Elastic Search」といったように間に空白を入れる・「search」の頭を大文字にするといった表記は誤り
（ただしVer.1.0.0リリース前にはそのような表記も混在していた）

$ uname -r
3.10.0-957.el7.x86_64

$ cat /etc/redhat-release
CentOS Linux release 7.6.1810 (Core)

# Javaインストール
$ yum search java-1.8.0-openjdk
$ yum -y install java-1.8.0-openjdk
$ export JAVA_HOME=/usr/bin/java

# リポジトリ登録
$ rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
$ vi /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

# インストール
$ yum install -y elasticsearch

# 外部からアクセスできるように設定
$ vim /etc/elasticsearch/elasticsearch.yml
network.host: 0.0.0.0
http.port: 9200

# Elasticsearch起動/確認
$ systemctl enable elasticsearch.service
$ systemctl start elasticsearch.service
$ systemctl status elasticsearch.service
$ curl [IPアドレス]:9200

# インストール
$ yum install -y kibana

# 外部からアクセスできるように設定
$ vim /etc/kibana/kibana.yml
server.host: "[IPアドレス]"

# Kibana起動/確認
$ systemctl enable kibana.service
$ systemctl start kibana.service
$ systemctl status kibana.service
$ curl -XGET 'http://[IPアドレス]:9200/filebeat-*/_search?pretty'

# インストール
$ yum -y install logstash

# フィルター用のファイルを作成
$ vim /etc/logstash/conf.d/01-syslog.conf
input {
  beats {
    port => "5044"
    type => "beats"
    }
}

output {
  elasticsearch {
    hosts => ["[IPアドレス]9200"]
    index => "squid-%{+YYYY.MM}"
  }
}

# サービス起動/確認
$ systemctl start logstash
$ systemctl status logstash

# ログを監視
tail -f /var/log/logstash/logstash-plain.log

# インストール
$ yum -y install filebeat

# syslogを収集するように設定
$ vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: syslog
  protocol.udp:
    host: "192.168.1.238:9000"

- type: log
  enabled: false
  paths:
    - /var/log/messages

# Kibana連携
$ vim /etc/kibana/kibana.yml
setup.kibana:
  host: "[IPアドレス]:5601"

# Elasticsearch連携
$ vim /etc/kibana/kibana.yml
output.elasticsearch:
  hosts: ["[IPアドレス]:9200"]

# 実行
$ filebeat setup
$ systemctl start filebeat

# インストール
$ yum -y install metricbeat

# 設定ファイル編集
setup.kibana:
  host: "[IPアドレス]:5601"
output.elasticsearch:
  hosts: ["[IPアドレス]:9200"]

# 実行
$ metricbeat setup
$ systemctl start metricbeat
$ systemctl status metricbeat

# ログファイルへ追記する
$ logger "test log"

# pingでネットワーク通信を実行
$ ping -s 1M 192.168.179.10

# モジュールを有効化
$ filebeat modules enable apache2

# モジュールリストを表示
$ filebeat modules list

# 設定ファイル
$ vim /etc/filebeat/modules.d/apache2.yml
- module: apache2
  # Access logs
  access:
    enabled: true
    var.paths:
      - /var/log/httpd/access_log

  # Error logs
  error:
    enabled: true
    var.paths:
      - /var/log/httpd/error_log

# サービス再起動
$ systemctl restart filebeat