Nginxを例に、fluent-bitを使ってFireLensで集めた複数コンテナのログを加工・データストアに送信する

    {
        "name": "fluent-bit",
        "image": "<IMAGE3>",
        "essential": true,
        "logConfiguration": {
            "logDriver": "awslogs",
            "options": {
              "awslogs-create-group": "true",
              "awslogs-group": "/ecs/aaaaa-fargate-firelens",
              "awslogs-region": "ap-northeast-1",
              "awslogs-stream-prefix": "firelens"
            }
        },
        "firelensConfiguration": {
            "type": "fluentbit",
            "options": {
              "config-file-type": "file",
              "config-file-value": "/fluent-bit/etc/fluent-bit_custom.conf"
            }
        },
        .....

# AWS公式fluent-bitイメージ`amazon/aws-for-fluent-bit`を使用するときは、INPUTが予め登録されているので何も書かない。
# ちなみに、このファイル名をfluent-bit.confにすると公式のイメージで使用されているファイルを上書きしてしまうのでその名前は使わないこと。

[SERVICE]
    Flush 1
    Grace 30
    Log_Level info
    Parsers_File parsers.conf #parsers であることに注意
    Parsers_File parsers_custom.conf #自分で作ったparserを使用したいときはこのように指定する
    Streams_File stream_processor.conf #ここでStreamの設定ファイルを指定する。STREAM＿TASKは同じファイルには書けないので注意。

FROM amazon/aws-for-fluent-bit:latest

COPY conf/fluent-bit/fluent-bit_custom.conf /fluent-bit/etc/fluent-bit_custom.conf
COPY conf/fluent-bit/stream_processing.conf /fluent-bit/etc/stream_processing.conf
COPY conf/fluent-bit/parsers_custom.conf /fluent-bit/etc/parsers_custom.conf

[PARSER]
    Name container
    Format regex
    Regex ^\/(?<task_name>(ecs-TaskDefName))-(?<task_revision>\d+)-(?<container_name>.+)-(?<target_name>.+)$

[FILTER]
    Name parser
    Match *
    Key_Name container_name
    Parser container
    Reserve_Data true

   "container_name":"/ecs-TaskDefName-151-nginx-f4cefae7a0bae7f47500"

   "container_name":"nginx"

[STREAM_TASK] #Name, Execが必要
    Name nginx
    Exec CREATE STREAM nginx WITH (tag='combine.nginx') AS SELECT * FROM TAG:'*-firelens-*' WHERE container_name = 'nginx';
# nginx というストリームを作成し、それにcombin.nginxというタグを付与する

[SERVICE]
    Flush 1
    Grace 30
    Log_Level info
    Parsers_File parsers.conf #parsers であることに注意
    Parsers_File parsers_custom.conf #自分で作ったparserを使用したいときはこのように指定する

[FILTER]
    Name parser
    Match combine.nginx
    Key_Name log
    Parser nginx
    Reserve_Data true

[FILTER]
    Name record_modifier
    Match *
    Remove_key container_id
    Remove_key ecs_cluster
    Remove_key ecs_task_arn
    Remove_key ecs_task_definition
    Remove_key target_name
    Remove_key task_name

[FILTER]
    Name grep
    Match combine.nginx
    Exclude log ^(?=.*ELB-HealthChecker\/2\.0).*$

[OUTPUT]
    Name firehose
    Match combine.nginx
    region ap-northeast-1
    delivery_stream firehose-nginx

[OUTPUT]
    Name datadog
    Match       nginx.error
    Host        http-intake.logs.datadoghq.com
    TLS         on
    compress    gzip
    apikey      <my-datadog-api-key>
    dd_service  <my-app-service>
    dd_source   <my-app-source>
    dd_tags     team:logs,foo:bar

[SERVICE]
    Flush 1
    Grace 30
    Log_Level info
    Parsers_File parsers.conf #parsers であることに注意
    Parsers_File parsers_custom.conf #自分で作ったparserを使用したいときはこのように指定する

[FILTER]
    Name parser
    Match *
    Key_Name container_name
    Parser container
    Reserve_Data true

[FILTER]
    Name record_modifier
    Match *
    Remove_key container_id
    Remove_key ecs_cluster
    Remove_key ecs_task_arn
    Remove_key ecs_task_definition
    Remove_key target_name
    Remove_key task_name

[FILTER]
    Name grep
    Match combine.nginx
    Exclude log ^(?=.*ELB-HealthChecker\/2\.0).*$

[FILTER]
    Name parser
    Match combine.nginx
    Key_Name log
    Parser nginx
    Reserve_Data true

[OUTPUT]
    Name firehose
    Match combine.nginx
    region ap-northeast-1
    delivery_stream firehose-nginx

[OUTPUT]
    Name datadog
    Match       nginx.error
    Host        http-intake.logs.datadoghq.com
    TLS         on
    compress    gzip
    apikey      <my-datadog-api-key>
    dd_service  <my-app-service>
    dd_source   <my-app-source>
    dd_tags     team:logs,foo:bar

CREATE EXTERNAL TABLE IF NOT EXISTS db.table_name (
    container_name string,
    log string,
    source string,
    task_revision string
)
PARTITIONED BY (dt string)

  ROW FORMAT  serde 'org.openx.data.jsonserde.JsonSerDe'
  LOCATION 's3://container-log/logs/';

MSCK REPAIR TABLE table_name;