Flumeシリーズ---1.インストール

1326 ワード
flum
1.Flumeインストールの導入
1.1 flumeのインストールは非常に簡単です
  • は、インストールパッケージをデータソースのあるノードにアップロードする
    • である.
  • その後tar-zxvf apache-flume-1.6.0-bin.tar.gz
    • を解凍する
  • それからflumeのディレクトリに入って、confの下のflume-env.shを修正して、中でJAVA_を配置しますHOME
  • データ収集ニーズ構成収集スキームに従って、プロファイル(ファイル名は任意にカスタマイズ可能)
    • について説明する.
  • 収集スキーマプロファイルを指定し、対応するノードでflume agent
    • を起動します.
    1.2まず最も簡単な例でプログラム環境が正常かどうかをテストする
    1.2.1、flumeのconfディレクトリの下にファイルを新規作成する
  • vim netcat-logger.conf#このagentの各コンポーネントの名前a 1.sources=r 1 
    a1.sinks = k1
a1.channels = c1

#       source   :r1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444

#       sink   :k1 
a1.sinks.k1.type = logger

#       channel   ，             
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100

#       source channel sink         
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
    • を定義する
  • agentを起動してデータbin/flume-ng agent-c conf-f conf/netcat-logger.conf-n a 1-Dflume.root.logger=INFO,console
    • を収集する
  • -c conf flume自身のプロファイルが存在するディレクトリ
    • を指定する.
  • -f conf/netcat-logger.conは、我々が説明する採集スキーム
    • を指定する.
  • -n a 1は私たちのagentの名前
    • を指定します.
    3、テスト
    まずagentが傍受を収集するポートにデータを送信し、agentにデータが採取できるようにします.agentノードとネットワークに接続できるマシン:telnet anget-hostname port(telnet localhost 4444444)
    Ubuntuネットワークカードブリッジおよびブリッジ後のネットワーク不通の解決方法
    dockerインストールopenresty