ELKの台頭(Rise of the ELK)

前言
一夜にして春風が吹くように、千樹万樹の梨花が咲き、ぼんやりしている間に、ELKも花を咲かせ、ELKのような解決策を提供する専門会社の数も増えた.
ELKの用途
従来の意味でELKはSplunkに代わるオープンソースソリューションである.Splunkはログ分析分野のリーダーです.ログ分析には、システムによって生成されたエラー・ログだけでなく、ビジネス・ロジック、またはテキスト・クラスの分析も含まれます.ログベースの分析では、次のような多くのソリューションを生成できます.

問題の調査.私たちはよく、运维と开発の一生は问题と戦っているにほかならないと言っています.だから、これは素朴な4つの字で、実は重いです.多くの会社は実はお金に欠けていないで、安定しなければならなくて、安定して、运维と开発が急速に问题を位置づけることができて、甚だしきに至っては微杜漸を防いで、问题を揺りかごの中で杀します.ログ分析技術は明らかに問題の調査の基礎である.ログに基づいて問題の調査を行うには、アリのeagleeyeやGoogleのdapperなど、全リンク追跡というかっこいい技術もあります.ログ分析技術の一つです.

監視とアラート.ログ、モニタリング、アラートは相補的です.ログベースのモニタリング、アラートにより、運用メンテナンスに独自の機械戦隊があり、人件費を大幅に節約し、運用メンテナンスの寿命を延長します.

関連イベント.複数のデータソースから生成されたログを連動分析し,ある分析アルゴリズムにより生活中の各問題を解決できる.例えば金融のリスク詐欺などです.これは無数の分野に応用できます.あなたの想像力にかかっています.

データ分析.これはデータアナリストやアルゴリズムエンジニアに役立ちます.

どうしてElKが急に怒ったの?
ELKの前に、似たような解決策はありませんか?ある大神はあると言っていましたが、当時はSphinx+Google charに基づいていたはずです.Sphinx対応ES、Google char対応Kibana.
なぜ火がなかったのか、今のELK火は?1つの比較的幻想的な解釈は:
実際、オープンソース界にはjavaベースのluceneのesや、cベースのlucyのdeziなど、常に多くの選択肢があります.しかし、誰が怒っているのか、誰が怒っていないのか、本当に奇妙なことです.
原因はいろいろあると思います.単純でコアな因数はタイミングです.時勢とは英雄をつくることである.
もちろん、何事も因子によるものではありません.あるいは、タイミングは比較的広く抽象的な因子です.
次に、ELKが突然盛んに発展した理由を複数の因子から述べてみます.
データの増加
以前は十分なデータを生成できたサイトはいくつかありましたが、現在、ベンチャー企業は大量のユーザー/大量の要求/大量の分析の圧力に直面する必要がある可能性があります.その中で発生したログも自然に非常に大きいですが、ビジネスがますます複雑になるにつれて、マイクロサービスが再び重視され、システムログにしても、ビジネスログにしても、さらに進んでいます.運維や開発者たちは、私がこのような大規模なシステム(数百以上のサービス)からこんなに多くのログ(千億規模)を生成し、問題を調査することは、まったく不可能であることを発見しました.以前はこのような大きなデータ量を持っていた会社は、実力のある会社で、内部専用のシステムで処理していた可能性があります.しかし、今は突然普遍的な需要になり、この時ELKは勢いに乗って、水が水路に流れた.
オープンソース
オープンソースは現在、ITコミュニティの血液に溶け込んでいます.私たちはビジネス、自己研究、そしてオープンソースの3つの間は互いに補完し合って、濡れているか、たまに愛し合って殺していると言っていますが、オープンソースがあれば選択することができますが、明らかに大部分の開発や運営はオープンソースが優先されています.ある牛が言った.
オープンソースとその利便性、オープンソースのメリット、学習コストの底、一人を募集すると彼を育成することができて、1つの内部メンテナンスのシステム、新人が火をつけるのはいつも問題が多いです;再構築するなら書き直したほうがいいとか、人のコードに基づいて開発したくないとか
ELKのオープンソース属性は,明らかにSplunkよりやや優れている.
業界のプロパティ
一部の業界はログへの依存が非常に大きく、例えばCDNログは誤りを調べることができるほか、その分析はCDNスケジューリングなど多くの面に影響を与えることができ、これらは実際の経済効果である.
自身の発展を維持する
運維自体も発展しており、刀耕火種の時代を続けることはできない.ログは運維にとって、命の根であるはずだ.体系的で、標準化されたログ分析案に対する需要も、歴史発展の必然である.ELKは適当な時に生まれ、運維が彼を受け入れるのは自然だ.
ELK自身の属性問題
ある大神の言い方を引用します.
ELKが解決できる核心問題は、カバー範囲も広く、標準化され、拡張しやすく集積され、開発と運営が風邪を引いている.
ELK自体はとても使いやすくて、今もとても良いコミュニティがあって、需要がこんなに大きくて、火をつけないとだめです.
ビッグデータによりマシンは になり始めました
ビッグデータの良い副作用の一つは、機械をある意味で安くすることです.少なければ数十台、多ければ数万台、さらには数十万台.サーバ数の急速な増加は多くの技術の発展を促進し、典型的には現在火のいらない深い学習などである.これは、数十台、100台以上のサーバを出してログ分析を行い、少しも問題がなく、集中的なログ分析が徐々に主流になっていることを意味します.ELKも典型的な集中型ログ分析スキームである.
書き込み時の計算->クエリー時の計算
書き込み時計算とは,データを複雑な処理を経て集約し,得られた結果を直接クエリーに向けることである.書き込み時の計算ルールは、クエリー要件によって決定されます.
ストレージフォーマットの進歩に伴い、例えばカラムストレージなどの普及や、強力なコンピューティングリソース(ESクラスタ1台で100台以上)により、オリジナルのデータを直接格納し、検索する際に各種のコンピューティングを行うことが可能になった.ELKはすでに強力なクエリー機能を提供しています.
全体的に、書き込み時に計算される大きな方向は、クエリ時に計算される変換です.クエリー時の計算の最大の利点は、情報を失わずに任意のクエリーをサポートすることです.
まとめ
各時期のソフトウェアたちの興衰は、歴史の長い川の中の各王朝のようだ.百花斉放の時もあれば、江湖を統一する時もある.ELKの台頭は、モバイルインターネットの衝撃、ビッグデータ/クラウドコンピューティングの熱さ、技術の更新、メンテナンス/開発グループの成長など、最も主要なものである.