storm0.9.0.1分散式安裝

破棉襖發表於2014-09-01
1.安裝zk

2.安裝python(一般linux自帶無須安裝)

3.安裝zeromq

# wget
# tar zxf zeromq-2.1.7.tar.gz
# cd zeromq-2.1.7
# ./configure
make
sudo make install
**********************
如果報錯
configure: error: in `/usr/local/download/zeromq-2.1.7':
 configure: error: no acceptable C compiler found in $PATH
 See `config.log' for more details
原因為沒有安裝c compiler
解決方法
# yum install gcc*

如果遇到Error:cannot link with -luuid, install uuid-dev
原因為缺少uuid相關package
解決方法
# yum install uuid*
# yum install e2fsprogs*
# yum install libuuid*
**********************

4.安裝jzmq

git clone
cd jzmq
./autogen.sh
./configure
make
sudo make install
**********************
要先安裝git 如未安裝: yun install git

如果報錯
autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
缺少libtool
# yum install libtool*


5.安裝storm

wget

tar vzxf storm-0.9.0.1.tar.gz

6.修改conf下
storm.yaml配置檔案

1) storm.zookeeper.servers: Storm叢集使用的Zookeeper叢集地址,其格式如下:
storm.zookeeper.servers:
  - "111.222.333.444"
  - "555.666.777.888"

2) storm.local.dir: Nimbus和Supervisor程式用於儲存少量狀態,如jars、confs等的本地磁碟目錄,需要提前建立該目錄並給以足夠的訪問許可權。然後在storm.yaml中配置該目錄,如:

storm.local.dir: "/home/admin/storm/workdir"

3) java.library.path: Storm使用的本地庫(ZMQ和JZMQ)載入路徑,預設為"/usr/local/lib:/opt/local/lib:/usr/lib",一般來說ZMQ和JZMQ預設安裝在/usr/local/lib 下,因此不需要配置即可。

4) nimbus.host: Storm叢集Nimbus機器地址,各個Supervisor工作節點需要知道哪個機器是Nimbus,以便下載Topologies的jars、confs等檔案,如:

nimbus.host: "111.222.333.444"

5) supervisor.slots.ports: 對於每個Supervisor工作節點,需要配置該工作節點可以執行的worker數量。每個worker佔用一個單獨的埠用於接收訊息,該配置選項即用於定義哪些埠是可被worker使用的。預設情況下,每個節點上可執行4個workers,分別在6700、6701、6702和6703埠,如:
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

7.安裝完成

將storm資料夾scp到其他節點
1.Nimbus: 在Storm主控節點上執行"bin/storm nimbus
2.Supervisor: 在Storm各個工作節點上執行"bin/storm supervisor
3.UI: 在Storm主控節點上執行"bin/storm ui 
4.
透過http://{nimbus host}:8080觀察叢集的worker資源使用情況、Topologies的執行狀態等資訊。

OK

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29754888/viewspace-1261459/,如需轉載,請註明出處,否則將追究法律責任。

相關文章