Es学習(四):logstashのインストールおよびmysqlからesへのデータ同期

実は現実の仕事の中でesを使って、基本的にすべてデータベースからesに同期して、ここで簡単にmysqlデータベースからesまでの過程を紹介します
インストールlogstash

1.インストールパッケージをダウンロードします.現在はlinuxの下にあります.注意してください.esバージョンと同じlogstash

をダウンロードしたほうがいいです.

2.ダウンロードしたtarパッケージを解凍し、logstashディレクトリの下

に進みます.

3.フォルダ、syncファイルを作成するには、中に1つ作成する必要があります.confファイルとmysql-conector-javaのjarパッケージは、あなたのデータベースに対応する必要があります.私のデータベースはmysql-8.0必要8.0 jiaパッケージ

です.

[root@localhost sync]# ls
logstash-db-sync.conf  mysql-connector-java-5.1.41.jar  mysql-connector-java-8.0.16.jar

4.confファイルの内容を編集

ここではlogstash-db-syncを作成しました.confファイル、内容は以下の通り、自分の状況に応じて修正する必要があります

input{
    jdbc{
        jdbc_driver_library => "/usr/local/logstash/sync/mysql-connector-java-8.0.16.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:3306/blog"
        jdbc_user => "root"
        jdbc_password => "12345678"
        schedule => "* * * * *"
        clean_run => true
        statement => "select * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"
    }
}

output {
    elasticsearch{
        hosts => ["192.168.247.8:9200"]
        index => "blog"
        document_id => "%{id}"
    }
}

ここではmysqlテーブルを同期させるデータを自由に作成できます
同期の開始

1.logstash/binディレクトリに入り、

を実行します.

./logstash -f /usr/local/logstash/sync/logstash-db-sync.conf

実行に成功すればいい