ElK tomcatログの収集

12549 ワード
ELK

ElK tomcatログの収集

  • ElK tomcatログの収集
  • 1、ソフトウェアアーキテクチャ
  • Nxlog
  • Logstash
  • Elasticsearch
  • Kibana


  • 二、設置配置
  • Nxlog
  • 1. nxlogインストールパッケージをダウンロードします(ここではwindowsを例に挙げます).
  • 2. ダブルクリックインストール
  • 3. プロファイルの変更:
  • 4. nxlog
    • を起動
  • 5.nxlogサービス
    • の設定
  • Logstashインストール構成
  • 1. ソフトウェア環境説明
  • 2. jdkインストール(スキップ)
  • 3. 公式ダウンロードLogstash解凍.
  • 4. 試験Logstash
  • 5、共通パラメータ
  • 6. tomcatログ収集
    • の構成
  • 7. Logstash
    • を起動
  • 8正常に動作することを検査すれば
    • である.
  • Elasticsearchインストール起動
  • 1. ソフトウェア環境説明
  • 2. jdkインストール(スキップ)
  • 3. インストールパッケージをダウンロードし、
    • を解凍します.
  • 4. Elasticsearch
    • の構成
  • 5.elastricsearchを起動する新しいユーザーを作成します.
  • 6. 作成したユーザーを使用してElasticsearch
    • を起動
  • 7. 起動が正常かどうかを確認します.
  • Kibanaインストール起動
  • 1. ソフトウェア環境説明
  • 2. jdkインストール(スキップ)
  • 3. インストールパッケージをダウンロードし、
    • を解凍します.
  • 4. kibana
    • の構成
  • kibanaを起動し、検証します.


  • 三、検証
  • 1. tomcat 7を起動する.0.77
  • 2. Elasticsearchが受信したログ情報を表示する
  • 3. tomcatの起動ログ
    • をkibanaで表示


    一、ソフトウェアアーキテクチャ


    Nxlog


    nxlogはC言語で書かれたプラットフォーム間ログ収集処理ソフトウェアである.内部では、Perl正規と構文を使用してデータ構造化と論理判断操作をサポートします.ただし、最も一般的なシーンです.Windowsサーバ上でlogstashの代替品として動作します.-公式文書[https://nxlog.co/products/nxlog-community-edition]-アドレスをダウンロード[https://nxlog.co/products/nxlog-community-edition/download]

    Logstash


    logstashはリアルタイムのデータ伝送能力を備えたパイプであり、パイプの入力端からパイプの出力端にデータ情報を伝送する責任を負う.同時に、このパイプラインは自分のニーズに合わせてフィルタを追加することができます.Logstashは、さまざまなアプリケーションシーンを満たすために多くの機能の強いフィルタを提供しています.-公式文書[https://www.elastic.co/guide/en/logstash/current/introduction.html]-アドレスをダウンロード[https://www.elastic.co/cn/downloads]

    Elasticsearch


    ElasticSearchはLuceneベースの検索サーバです.RESTful Webインタフェースに基づいた分散型マルチユーザ能力の全文検索エンジンを提供します.ElasticsearchはJavaで開発され、Apacheライセンス条項の下のオープンソースとして発表され、現在流行しているエンタープライズクラスの検索エンジンです.[クラウドコンピューティング])では、リアルタイム検索、安定、信頼性、高速、インストールが便利に設計されています.-公式文書[https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html]-アドレスをダウンロード[https://www.elastic.co/cn/downloads]

    Kibana


    Kibanaはオープンソースの分析と可視化プラットフォームであり,Elasticsearchと一緒に使用するために設計された.Elasticsearchインデックスに格納されているデータをkibanaで検索、表示、インタラクティブに保存できます.さまざまなグラフ、表、地図などのkibanaを使用すると、高度なデータ分析と可視化を簡単に表示できます.-公式文書[https://www.elastic.co/guide/en/kibana/current/index.html]-アドレスをダウンロード[https://www.elastic.co/cn/downloads] (https://www.elastic.co/cn/downloads)

    二、設置配置


    Nxlog


    1.nxlogインストールパッケージをダウンロードします(ここではwindowsを例に挙げます)。


    nxlogにはceバージョンとEEバージョンがあり、windows、linuxなどのオペレーティングシステムをサポートしています.

    2.ダブルクリックでインストール


    デフォルトのインストールパス:C:Program Files(x 86)xlog

    3.プロファイルの変更:


    修正:C:Program Files(x 86)xlogconfxlog.conf 
    ## This is a sample configuration file. See the nxlog reference manual about the
## configuration options. It should be installed locally and is also available
## online at http://nxlog.org/docs/

## Please set the ROOT to the folder your nxlog was installed into,
## otherwise it will not start.

#define ROOT C:\Program Files
    xlog    
define ROOT C:\Program Files (x86)
    xlog    

Moduledir C:\Program Files (x86)
    xlog    \modules
CacheDir C:\Program Files (x86)
    xlog    \data
Pidfile C:\Program Files (x86)
    xlog    \data
    xlog    .pid
SpoolDir C:\Program Files (x86)
    xlog    \data
LogFile C:\Program Files (x86)
    xlog    \data
    xlog    .log


    Module      xm_syslog



    Module im_file
    File "D:\\apache-tomcat-7.0.77\\logs\\\*.log"    
    SavePos TRUE



    Module om_tcp
    Host   192.168.8.83
    Port   514



    Path testfile => out
  • 配置経路
    • 名前
    定義＃テイギ＃
    パス
    nxlogルートディレクトリ
    define ROOT()
    C:\Program Files (x86)xlog
    モジュールパス
    Moduledir
    C:\Program Files (x86)xlog\modules
    nxlogキャッシュデータ
    CacheDir
    C:\Program Files (x86)xlog\data
    pidパス
    Pidfile
    C:\Program Files (x86)xlog\dataxlog.pid
    リソースプールのパス
    SpoolDir
    C:\Program Files (x86)xlog\data
    ログのパス
    LogFile
    C:\Program Files (x86)xlog\dataxlog.log

    4.nxlogを起動する


    起動後にログを表示し、logstashが起動しないとエラーが表示されます-正常に起動します

    5.nxlogサービスの設定


    nxlogがインストールされると、デフォルトでは、nxlogのシステムサービスがシステムに装着されます.自分の選択に応じて自動的に起動できます.

    Logstashインストール構成


    1.ソフトウェア環境の説明


    ソフトウェアシステム
    バージョン#バージョン#
    linux
    centos7 64bit
    jdk
    1.8.0.144 64 bit linuxバージョン
    Logstash
    6.1.1 linux

    2.jdkインストール（スキップ）


    3.公式ダウンロードLogstash解凍。

    cd /opt
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.1.tar.gz 
tar -zxvf logstash-6.1.1.tar.gz
#     
ln -s /opt/logstash-6.1.1/bin/logstash /usr/local/sbin/logstash`

    4.Logstashのテスト


    原理:入力、フィルタ、出力
    #         ，           logstash  
logstash -e 'input { stdin { } } output { stdout {} }'

    helloを入力するとlogstashが直接helloを取得していることがわかります

    5、共通パラメータ


    パラメータ
    用途
    -n
    Logstashインスタンスの名前を指定します.指定されていない場合、デフォルトはホスト名です.
    -f
    Logstashプロファイルまたはディレクトリを指定し、ディレクトリを指定するとディレクトリ内のプロファイルがマージされます
    -e
    Logstash構成データを指定し、文字列で指定し、手動テストでよく使用します.
    -l
    ログ・ファイル・ディレクトリを指定し、デフォルトのインストール・ディレクトリの下にあるlogsディレクトリ
    –debug
    Logstashデバッグモードをオンにする
    –log.level
    ログ・レベル、fatal/error/warn/info/debug/traceの指定
    –config.debug
    Logstash印刷構成連結ログを指定し、デバッグモード-debugを開き、ログレベルを設定することを前提としてオンにします.
    -t
    Logstashプロファイルをテストするには、-fと協力して使用する必要があります.
    -r
    Logstash自動リロードプロファイルを設定するには、-fと連携して使用する必要があります.
    –config.reload.interval
    Logstashリロード構成サイクルを設定します.デフォルトは3秒です.
    –http.host
    LogstashAPIリスニングアドレスの設定
    –http.port
    LogstashAPIリスニングポートの設定
    –quiet
    Logstashをサイレントモードに設定

    6.tomcatログ収集の構成

  • Logstashのbinの下にnxlogを作成する.confファイル.
  • は、nxlogによって収集されたログをtcpによって受信する.
  • elasticsearchのアドレスやindexなどの情報
    • を構成する.
    input {
    tcp {
        port => 514

    }
}
output{
    elasticsearch {
        hosts => "192.168.8.83:9200"
        index => "logstash-test1"
        template_overwrite => true
    }
}

    7.Logstashの起動

    logstash -f /opt/logstash-6.1.1/bin/nxlog.conf

    8正常に動作していることを確認すればよい

  • Logstashの起動が遅く、しばらく待つ必要があります.

    • Elasticsearchインストール起動


    1.ソフトウェア環境の説明


    ソフトウェアシステム
    バージョン#バージョン#
    linux
    centos7 64bit
    jdk
    1.8.0.144 64 bit linuxバージョン
    Elasticsearch
    6.1.1 linux

    2.jdkインストール（スキップ）


    3.公式にインストールパッケージをダウンロードして解凍する

    #     
ln -s /opt/elasticsearch-6.1.1/bin/elasticsearch /usr/local/sbin/elasticsearch

    4.Elasticsearchの構成

  • プロファイル/opt/elasticsearch-6.1.1/config/elasticsearch.yml 
    • #  es    
cluster.name: bosheng_logs
##        ，        
node.name: node1
##      ，  elasticsearch         ，           
path.data: /logs
##      
path.logs: /opt/elasticsearch-6.1.1/logs
##      
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
##    IP  
network.host: 192.168.8.83
#  http    
http.port: 9200

    5.elastricsearchを起動する新しいユーザーを作成します。

  • rootユーザーを使用して
    • を作成
    useradd elk
passwd elk
chown -R elk /opt/elasticsearch-6.1.1

    6.作成したユーザーを使用してElasticsearchを起動する

    su elk
elasticsearch

    7.起動が正常かどうかを確認する


    Kibanaインストール起動


    1.ソフトウェア環境の説明


    ソフトウェアシステム
    バージョン#バージョン#
    linux
    centos7 64bit
    jdk
    1.8.0.144 64 bit linuxバージョン
    Kibana
    6.1.1 linux

    2.jdkインストール（スキップ）


    3.公式にインストールパッケージをダウンロードして解凍する

    #     
ln -s /opt/kibana-6.1.1-linux-x86_64/bin/kibana /usr/local/sbin/kibana

    4.kibanaの構成

  • プロファイルパス/opt/kibana-6.1.1-linux-x 86_64/config/kibana.yml 
    • server.port: 5601
server.host: 192.168.8.83
elasticsearch.url: "http://192.168.8.83:9200"

    kibanaを起動し、検証します。

  • 起動
    • kibana
  • 起動成功
  • アクセス

    • 三、検証


    1.tomcat 7を起動する.0.77


    2.Elasticsearchが受信したログ情報の表示


    3.kibanaでtomcatの起動ログを表示する


    検査の結果、tomcatのログをElasticsearchに収集することに成功したことがわかりました.
    ジュリアを学ぶ( 3 ) : Jupyterを使う
    MapBox GL JS でラベル付きマーカー