stormインストール

4191 ワード

storm

--------------------------------------------strom set up-------------------------------------
1.set up a zookeeper cluster
2.set up ZeroMQ 2.1.7

tar -xzf zeromq-2.1.7.tar.gz
  cd zeromq-2.1.7
  ./configure
  make
  make install

configure: error: cannot link with -luuid, install uuid-dev.
#yum install libuuid-devel
3.set up jzmq

unzip jzmq-master.zip
  cd jzmq-master
  ./autogen.sh
  ./configure
  make
  make install

autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
#yum install libtool
4.set up Java 6
5.set up Python 2.6.6
6.set up unzip
構成リファレンス
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html
7.stormを修正する.yamlプロファイル
Stormリリースの解凍ディレクトリの下にconf/stormがあります.yamlファイル.Stormを構成します.デフォルトの構成はここで表示できます.conf/storm.yamlの構成オプションはdefaultsを上書きします.yamlのデフォルト構成.次の構成オプションはconf/stormである必要があります.yamlで構成されているもの:
1) storm.zookeeper.servers:Stormクラスタで使用されるZookeeperクラスタアドレス.フォーマットは次のとおりです.

storm.zookeeper.servers:
  - "111.222.333.444"
  - "555.666.777.888"

Zookeeperクラスタがデフォルトポートでない場合はstormが必要です.zookeeper.portオプション.
2) storm.local.dir:NimbusおよびSupervisorプロセスは、jars、confsなどのローカルディスクディレクトリなどの少量のステータスを格納するために使用され、事前にディレクトリを作成し、十分なアクセス権を与える必要があります.そしてstorm.yamlでは、次のようにディレクトリを構成します.
storm.local.dir: "/home/admin/storm/workdir"
3) java.library.path:Stormで使用されるローカルライブラリ(ZMQおよびJZMQ)のロードパスは、デフォルトでは「/usr/local/lib:/opt/local/lib:/usr/lib」であり、一般的にZMQおよびJZMQのデフォルトは/usr/local/libにインストールされるため、構成は不要です.
4) nimbus.host:StormクラスタNimbusマシンアドレス、各Supervisorワークノードは、Topologiesのjars、confsなどのファイルをダウンロードするために、どのマシンがNimbusであるかを知る必要があります.
nimbus.host: "111.222.333.444"
5) supervisor.slots.ports:Supervisorワークノードごとに、そのワークノードが実行できるワーク数を構成する必要があります.各workerは、メッセージを受信するために個別のポートを占有します.この構成オプションは、どのポートがworkerによって使用可能かを定義するために使用されます.デフォルトでは、各ノードで6700、6701、6702、6703ポートの4つのworkersを実行できます.


supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

2.5 Stormの各バックグラウンドプロセスの開始
最後に、Stormのすべてのバックグラウンドプロセスを開始します.Zookeeperと同様に、Stormも高速失敗(fail-fast)のシステムであり、Stormは任意の時点で停止され、プロセスが再起動された後に正しく実行を再開することができる.これもStormがプロセス内にステータスを保存しない理由であり、NimbusまたはSupervisorsが再起動されても、実行中のTopologiesは影響を受けません.
以下は、Stormの各バックグラウンドプロセスを開始する方法です.
Nimbus:Stormマスターノードで「bin/storm nimbus>/dev/null 2>&1&」を実行してNimbusバックグラウンドプログラムを起動し、バックグラウンドで実行します.
Supervisor:Stormの各ワークノードで「bin/storm supervisor>/dev/null 2>&1&」を実行してSupervisorバックグラウンドプログラムを起動し、バックグラウンドで実行します.
UI:Stormマスターノードで「bin/storm ui>/dev/null 2>&1&」を実行してUIバックグラウンドプログラムを起動し、バックグラウンドで実行します.起動後、http://nimbus host}:8080でクラスタのworkerリソースの使用状況、Topologiesの実行状態などの情報を観察できます.
DRPC:Stormマスターノードで「bin/storm drpc>/dev/null 2>&1&」を実行してdrpcを起動
注意事項:
   1.Stormバックグラウンドプロセスが開始されると、Stormインストールデプロイメントディレクトリのlogs/サブディレクトリで各プロセスのログファイルが生成されます.
   2.テストにより、Storm UIはStorm Nimbusと同じマシンに配備する必要があります.そうしないと、UIプロセスがネイティブにNimbusリンクがあるかどうかを確認するため、UIは正常に動作しません.
   3.使いやすいようにbin/stormをシステム環境変数に追加できます.
これで、Stormクラスタの配備、構成が完了し、トポロジーの実行をクラスタにコミットできます.
8.stormジョブの起動

/export/servers/storm-0.8.2-nimbus/bin/storm jar storm-starter-0.0.1-SNAPSHOT.jar storm.starter.trident.TridentWordCount wordcount

9. 2013-09-02 15:31:53 worker [WARN] Received invalid messages for unknown tasks. Dropping... に質問
修正host、すなわちhostnameはhostname-iに対応しなければならず、127.0.0.1は現れず、修正方法は以下の通りである.
a、hostnameの設定:
$

hostname pc-name

b、$

sudo vim /etc/sysconfig/network

設定HOSTNAME=pc-name
c、$

sudo /etc/hosts

127.0.0.1 localhost localhost.localdomain
   ::1 localhost6 localhost6.localdomain6 
   10.12.117.78 pc-name

パワーポイントでSmartArtグラフィックを作成する方法

GIT LFS