Google Data Studio で BigQuery ログを可視化してディレクターのデータ依頼から解き放たれる

# heroku で運用しているアプリから fluentd があるサーバーへログを転送
$ heroku drains:add https://my-fluentd-app.herokuapp.com/log -a myapp

{"message" : "262 <158>1 2016-12-06T23:00:32.420809+00:00 host heroku router - at=info method=POST path=\"/log?user_id=23&client=android\" host=myapp.herokuapp.com request_id=65e1bjkf-7le5-4a11-8236-ac24a3b71bb7 fwd=\"231.137.44.83\" dyno=web.1 connect=0ms service=8ms status=200 bytes=492\n"

# Clone
$ git clone git://github.com/treasure-data/heroku-td-agent.git
$ cd heroku-td-agent
$ rm -fR .git
$ git init
$ git add .
$ git commit -m 'initial commit'

# Heroku 上にアプリ作成
$ heroku create --stack cedar 

$ git push heroku master

gem 'fluentd', '~> 0.12.0'
gem 'fluent-plugin-td'
gem 'fluent-plugin-parser'
gem 'fluent-plugin-bigquery'
gem 'fluent-plugin-rewrite'

# デフォルトだとここで fluentd への source 設定があるが td-agent.conf へ設定は寄せる
web: bundle exec fluentd --use-v1-config -c td-agent.conf

<source>
  @type http
  port "#{ENV['PORT']}" # herokuで自動設定される環境変数
  keepalive_timeout 10s
  format none # none にしないと heroku の router ログは読み取ってくれない
</source>

# heroku のログには「"」や「\\n」が混じっているので削除
<match access_log>
  @type rewrite
  add_prefix filetered
  <rule>
    key message
    pattern \"|\\n
    replace
  </rule>
</match> 

# ログをマッチパターンのみにフィルタ
<match filetered.access_log>
  @type parser
  key_name message
  tag bigquery
  format /\<.*\>\d (?<strtime>.+)\..* method=(?<method>.+) path=(?<path>.+)(\?|\&)user_id=(?<userid>.+)&client\=(?<client>.+) host=(?<host>.+) request_id=(?<request_id>.+) fwd=(?<fwd>.+) dyno=(?<dyno>.+) connect=(?<connect>.+) service=(?<service>.+) status=(?<status>.+) bytes=(?<bytes>.+)$/
</match>


# フィルタ後のログをBigQueryに送信
<match bigquery>
  @type bigquery

  method insert

  auth_method json_key
  # この値は GCP で使うservice account の値を入れる
  email [email protected]
  json_key ./yourprojectZZZZZZZ.json 

  # この値はBigQueryで設定した値を入れる
  project [YOUR_PROJECT]
  dataset [YOUR_DATASET]
  auto_create_table true
  table log%{time_slice} # 日付単位でテーブルはローテート

  time_field strtime
  field_string strtime,path,status,method,userid,client,fwd,service,bytes,host,request_id,dyno,connect

  buffer_path ./buffer/td
  buffer_chunk_limit 1m
  buffer_queue_limit 512
</match>

$ bundle
$ export PORT=8888
$ bundle exec fluentd -c td-agent.conf
$ curl -X POST -d "262 <158>1 2016-12-06T23:00:32.420809+00:00 host heroku router - at=info method=GET path=\"/my_page?user_id=23&client=android\" host=myapp.herokuapp.com request_id=65e1bdfa-72e5-4a11-8236-ac24a2b71bb7 fwd=123.137.16.73 dyno=web.1 connect=0ms service=8ms status=200 bytes=492"\
 http://localhost:8888/access_log