td-agent から Elasticsearch にデータを流す。というのをローカル Mac で試す自分用メモ。

3912 ワード
Fluentd Elasticsearch td-agent Fluentd テキストリンク

事前に用意しておくもの

  • Mac に td-agent を入れておく
  • Mac に Elasticsearch と Kibana を入れておく

fluentd のプラグインを入れる

ref. https://github.com/uken/fluent-plugin-elasticsearch

インストール
# td-agent-gem のパスは環境によって変わると思うので、調整してください。
$ sudo /opt/td-agent/usr/sbin/td-agent-gem install fluent-plugin-elasticsearch
入ったことを確認
$ sudo /opt/td-agent/usr/sbin/td-agent-gem list fluent-plugin-elasticsearch

*** LOCAL GEMS ***

fluent-plugin-elasticsearch (1.9.2)

設定ファイルを書く

ref. https://github.com/uken/fluent-plugin-elasticsearch#usage

/etc/td-agent/td-agent.conf
<source>
  type forward
</source>

<source>
  type     tail
  tag      lograge
  format   json
  path     /Users/mochizuki/Developments/project/log/lograge_development.log
  pos_file /Users/mochizuki/Developments/project/log/lograge_development.log.pos
  time_key time
</source>

<match lograge>
  @type copy
  <store>
    @type stdout
  </store>
  <store>
    @type elasticsearch
    host localhost
    port 9200
    index_name fluentd
    type_name fluentd
  </store>
</match>

Elasticsearch と kibana を立ち上げて動かしてみる

ref. https://www.elastic.co/jp/videos/getting-started-elasticsearch

起動については、上動画に詳しく書かれてあります。

Kibana の Dev Tools から、確認してみます。

無事、終了でございます。

ありがとうございました。