Elasticsearch + Logstash + Kibana + SudachiプラグインでTwitterを可視化したときのtemplate
9877 ワード
使用した環境
-
Oracle Cloud Infrastructure環境にElasticsearchとSudachiプラグインをインストール
-
Elasticsearch+Logstash+Kibanaで作るTwitter分析ダッシュボード 作成手順まとめ
- 手順2:Logstashの設定ファイルを作成->起動する
- 手順2:Logstashの設定ファイルを作成->起動する
上の1つ目の手順でセットアップした環境に、2つ目の「手順2:Logstashの設定ファイルを作成->起動する」部分の手順で、Logstashの設定と起動を実施。
Elasticsearchのテンプレート
Tweet情報から、以下のFieldに対し指定したtypeで扱うよう指定。
- field名：coordinates を geo_point に
- field名：created_at を date に (日付フォーマット指定も)
参考：Index twitter data with coordinates geo_point parse exception
環境セットアップ時の情報に記載の、dynamic templateでsudachi_analyzerが利用できるようにする設定も合わせて行う。
テンプレートの設定ファイル
mytweet.json
{
"template": "mytweet*",
"settings":{
"index": {
"analysis": {
"tokenizer": {
"sudachi_tokenizer": {
"type": "sudachi_tokenizer",
"mode": "search",
"discard_punctuation": true
}
},
"analyzer": {
"sudachi_analyzer": {
"filter": [
],
"tokenizer": "sudachi_tokenizer",
"type": "custom"
}
}
}
}
},
"mappings": {
"_default_": {
"dynamic_templates":[
{
"texts": {
"match_mapping_type": "string",
"match": "text",
"mapping": {
"type": "text",
"analyzer": "sudachi_analyzer",
"fielddata": true
}
}
}
],
"properties": {
"coordinates":{
"properties": {
"coordinates": {
"type": "geo_point"
},
"type":{
"type": "text",
"fields": {
"keyword":{
"type":"keyword",
"ignore_above": 256
}
}
}
}
},
"created_at": {
"type": "date",
"format": "EEE MMM dd HH:mm:ss Z YYYY"
}
}
}
}
}
Indexにテンプレートを適用する
上のmytweet.jsonを使って以下を実行。
$ curl -X PUT -H "Content-Type: application/json" http://localhost:9200/_template/mytweet -d "@mytweet.json"
追記（備忘録）
冒頭の Elasticsearch+Logstash+Kibanaで作るTwitter分析ダッシュボード 作成手順まとめ
「手順2:Logstashの設定ファイルを作成->起動する」部分の手順で、Logstashの設定と起動を実施。
のところの作業ログ。
Logstashの設定ファイルを準備
/usr/share/logstash/kibana_twitter.conf を準備
kibana_twitter.conf
input {
twitter {
# TwittrAPIの認証情報を入力
consumer_key => "xxx"
consumer_secret => "yyy"
oauth_token => "zzz"
oauth_token_secret => "aaa"
# つぶやきの検索対象に含めるキーワードを配列で指定する
keywords => ["#紅葉"]
full_tweet => true
}
}
output {
elasticsearch {
# ElasticSearchのホストパス
hosts => ["http://public_ip_address:9200/"]
# インデックス名
index => "koyotweet"
}
}
起動とログ監視
# /usr/share/logstash/bin/logstash --path.settings=/etc/logstash --path.data /tmp -f /usr/share/logstash/kibana_twitter.conf
$ tail -f /var/log/logstash/logstash-plain.log
停止は kill -9
Author And Source
この問題について(Elasticsearch + Logstash + Kibana + SudachiプラグインでTwitterを可視化したときのtemplate), 我々は、より多くの情報をここで見つけました https://qiita.com/mikika/items/1e83c97865c3148b3a7b著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .