ElasticSearchのインストールの導入と基本的な概念
3843 ワード
1、概要ElasticSearch(ESと略称する)は分布式、Restfulの検索と分析サーバーであり、分布式計算のために設計されている.リアルタイム検索、安定、信頼性、高速を実現できます.Lucenceベースのインデックスサーバで、ElasticSearchの利点は、(1)軽量レベルで、インストールが容易で、ファイルをダウンロードした後にコマンドが起動できることです.(2)任意の構造のJSONオブジェクトをサーバに提出することができる.(3)マルチインデックスファイルのサポートで、異なるindexパラメータを使用して別のインデックスファイルを作成できます.(4)分布式.
2013年初め、GitHubはSolrを捨て、ElasticSearchを採用してPB級の検索を行った.
近年、ElasticSearchは急速に発展し、最初の純粋な検索エンジンの役割を超え、データ集約分析(aggregation)と可視化の特性が増加しています.数百万のドキュメントがキーワードで位置決めする必要がある場合は、ElasticSearchが最適です.もちろん、ドキュメントがJSONであれば、ElasticSearchを「NoSQLデータベース」として、ElasticSearchデータ集約分析(aggregation)の特性を適用して、データに対して多次元分析を行うこともできます.
2、概念2.1 ClusterおよびNode ESは、単一のポイントまたはクラスタで実行され、searchサービスを全体的に対外的に提供するすべてのノードでclusterを構成し、このclusterを構成する各ノードをnodeと呼ぶことができる.
2.1 Index関係データベースのdatabaseと同様にESがデータを格納する場所です.
2.3 Shardsインデックススライス、これはESが分布式検索を提供する基礎であり、その意味は1つの完全なindexをいくつかの部分に分けて同じまたは異なるノードに格納することであり、これらのindexを構成する部分をshardと呼ぶ.
2.4 Replicasインデックスコピー、ESは複数のインデックスのコピーを設定することができ、コピーの役割は一つはシステムのフォールトトレランス性を高めることであり、あるノードのあるスライスが破損または紛失した場合、コピーから回復することができる.第二に、ESのクエリー効率を向上させることで、ESは自動的に検索要求をロード・バランシングする.
2.5 Recoveryはデータ復旧またはデータ再配分を表し、ESはノードの加入または退出時にマシンの負荷に応じてインデックススライスを再配分し、保留中のノード再起動時にもデータ復旧を行う.
2.6 Gateway ESインデックススナップショットの記憶方式で、ESのデフォルトはまずインデックスをメモリに保存し、メモリがいっぱいになったときにローカルハードディスクに永続化する.gatewayはインデックススナップショットを格納し、このESクラスタが閉じて再起動するとgatewayからインデックスバックアップデータが読み出されます.
2.7 Discovery.zenはESの自動発見ノードメカニズムを表し、ESはp 2 pベースのシステムであり、まずブロードキャストを通じて存在するノードを探し、マルチキャストプロトコルを通じてノード間の通信を行い、同時にポイント対ポイントの相互作用をサポートする.
2.8 TransportはES内部ノードまたはクラスタとクライアントとのインタラクションを表し、デフォルトでは内部はtcpプロトコルを使用してインタラクションされ、httpプロトコル(jsonフォーマット)をサポートします.
3、インストール配置ESはjava言語で実現され、実行環境はjavaに依存する.ES 2.xバージョンは、jdk 1.7+の環境を推奨し、jdk 1.8の使用を推奨します.ESは公式サイトでダウンロードできます.ここではelasticsearch-2.3.3.tar.gzを使用します.
4、ESインストール(1)elasticsearch-2.3.3.tar.gz、sudo tar-zvxf elasticsearch-2.3.3.tar.gzを解凍し、現在の経路でディレクトリを生成する:elasticsearch-2.3.3;
(2)ESを構成する.ここでは最も簡単な構成だけをして、ES_を修正します.HOME/config/elasticsearch.ymlファイル、関連構成パラメータ:
(3)ESを起動する.ESインストールディレクトリに入り、コマンド:bin/elasticsearch-d-Xms 512 m-Xmx 512 mを実行し、ブラウザに
2013年初め、GitHubはSolrを捨て、ElasticSearchを採用してPB級の検索を行った.
近年、ElasticSearchは急速に発展し、最初の純粋な検索エンジンの役割を超え、データ集約分析(aggregation)と可視化の特性が増加しています.数百万のドキュメントがキーワードで位置決めする必要がある場合は、ElasticSearchが最適です.もちろん、ドキュメントがJSONであれば、ElasticSearchを「NoSQLデータベース」として、ElasticSearchデータ集約分析(aggregation)の特性を適用して、データに対して多次元分析を行うこともできます.
2、概念2.1 ClusterおよびNode ESは、単一のポイントまたはクラスタで実行され、searchサービスを全体的に対外的に提供するすべてのノードでclusterを構成し、このclusterを構成する各ノードをnodeと呼ぶことができる.
2.1 Index関係データベースのdatabaseと同様にESがデータを格納する場所です.
2.3 Shardsインデックススライス、これはESが分布式検索を提供する基礎であり、その意味は1つの完全なindexをいくつかの部分に分けて同じまたは異なるノードに格納することであり、これらのindexを構成する部分をshardと呼ぶ.
2.4 Replicasインデックスコピー、ESは複数のインデックスのコピーを設定することができ、コピーの役割は一つはシステムのフォールトトレランス性を高めることであり、あるノードのあるスライスが破損または紛失した場合、コピーから回復することができる.第二に、ESのクエリー効率を向上させることで、ESは自動的に検索要求をロード・バランシングする.
2.5 Recoveryはデータ復旧またはデータ再配分を表し、ESはノードの加入または退出時にマシンの負荷に応じてインデックススライスを再配分し、保留中のノード再起動時にもデータ復旧を行う.
2.6 Gateway ESインデックススナップショットの記憶方式で、ESのデフォルトはまずインデックスをメモリに保存し、メモリがいっぱいになったときにローカルハードディスクに永続化する.gatewayはインデックススナップショットを格納し、このESクラスタが閉じて再起動するとgatewayからインデックスバックアップデータが読み出されます.
2.7 Discovery.zenはESの自動発見ノードメカニズムを表し、ESはp 2 pベースのシステムであり、まずブロードキャストを通じて存在するノードを探し、マルチキャストプロトコルを通じてノード間の通信を行い、同時にポイント対ポイントの相互作用をサポートする.
2.8 TransportはES内部ノードまたはクラスタとクライアントとのインタラクションを表し、デフォルトでは内部はtcpプロトコルを使用してインタラクションされ、httpプロトコル(jsonフォーマット)をサポートします.
3、インストール配置ESはjava言語で実現され、実行環境はjavaに依存する.ES 2.xバージョンは、jdk 1.7+の環境を推奨し、jdk 1.8の使用を推奨します.ESは公式サイトでダウンロードできます.ここではelasticsearch-2.3.3.tar.gzを使用します.
4、ESインストール(1)elasticsearch-2.3.3.tar.gz、sudo tar-zvxf elasticsearch-2.3.3.tar.gzを解凍し、現在の経路でディレクトリを生成する:elasticsearch-2.3.3;
(2)ESを構成する.ここでは最も簡単な構成だけをして、ES_を修正します.HOME/config/elasticsearch.ymlファイル、関連構成パラメータ:
//
cluster.name: elasticsearch-cluster
//
node.name: "node1"
//
node.data: true
//
index.number_of_shards: 5
//
index.number_of_replicas: 1
//
path.data: /data/elasticsearch/data
//
path.logs: /data/elasticsearch/log
//
index.cache.field.max_size: 500000
//
index.cache.field.expire: 5m(3)ESを起動する.ESインストールディレクトリに入り、コマンド:bin/elasticsearch-d-Xms 512 m-Xmx 512 mを実行し、ブラウザに
http://ip:9200/とhttp://ip:9200/_plugin/head/を入力し、ページ情報を確認し、正常に起動しているかどうかを確認します.status=200は正常に起動したことを示します.