storm0.9.0.1分散式安裝
1.安裝zk
2.安裝python(一般linux自帶無須安裝)
3.安裝zeromq
# wget
# tar zxf zeromq-2.1.7.tar.gz
# cd zeromq-2.1.7
# ./configure
# make
# sudo make install
**********************
如果報錯
configure: error: in `/usr/local/download/zeromq-2.1.7':
configure: error: no acceptable C compiler found in $PATH
See `config.log' for more details
原因為沒有安裝c compiler
解決方法
# yum install gcc*
如果遇到Error:cannot link with -luuid, install uuid-dev
原因為缺少uuid相關package
解決方法
# yum install uuid*
# yum install e2fsprogs*
# yum install libuuid*
**********************
4.安裝jzmq
git clone
cd jzmq
./autogen.sh
./configure
make
sudo make install
**********************
要先安裝git 如未安裝: yun install git
如果報錯
autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
缺少libtool
# yum install libtool*
5.安裝storm
wget
tar vzxf storm-0.9.0.1.tar.gz
6.修改conf下storm.yaml配置檔案
1) storm.zookeeper.servers: Storm叢集使用的Zookeeper叢集地址,其格式如下:
storm.zookeeper.servers:
- "111.222.333.444"
- "555.666.777.888"
2) storm.local.dir: Nimbus和Supervisor程式用於儲存少量狀態,如jars、confs等的本地磁碟目錄,需要提前建立該目錄並給以足夠的訪問許可權。然後在storm.yaml中配置該目錄,如:
storm.local.dir: "/home/admin/storm/workdir"
3) java.library.path: Storm使用的本地庫(ZMQ和JZMQ)載入路徑,預設為"/usr/local/lib:/opt/local/lib:/usr/lib",一般來說ZMQ和JZMQ預設安裝在/usr/local/lib 下,因此不需要配置即可。
4) nimbus.host: Storm叢集Nimbus機器地址,各個Supervisor工作節點需要知道哪個機器是Nimbus,以便下載Topologies的jars、confs等檔案,如:
nimbus.host: "111.222.333.444"
5) supervisor.slots.ports: 對於每個Supervisor工作節點,需要配置該工作節點可以執行的worker數量。每個worker佔用一個單獨的埠用於接收訊息,該配置選項即用於定義哪些埠是可被worker使用的。預設情況下,每個節點上可執行4個workers,分別在6700、6701、6702和6703埠,如:
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
7.安裝完成
將storm資料夾scp到其他節點
1.Nimbus: 在Storm主控節點上執行"bin/storm nimbus
2.Supervisor: 在Storm各個工作節點上執行"bin/storm supervisor
3.UI: 在Storm主控節點上執行"bin/storm ui
4.透過http://{nimbus host}:8080觀察叢集的worker資源使用情況、Topologies的執行狀態等資訊。
2.安裝python(一般linux自帶無須安裝)
3.安裝zeromq
# wget
# tar zxf zeromq-2.1.7.tar.gz
# cd zeromq-2.1.7
# ./configure
# make
# sudo make install
**********************
如果報錯
configure: error: in `/usr/local/download/zeromq-2.1.7':
configure: error: no acceptable C compiler found in $PATH
See `config.log' for more details
原因為沒有安裝c compiler
解決方法
# yum install gcc*
如果遇到Error:cannot link with -luuid, install uuid-dev
原因為缺少uuid相關package
解決方法
# yum install uuid*
# yum install e2fsprogs*
# yum install libuuid*
**********************
4.安裝jzmq
git clone
cd jzmq
./autogen.sh
./configure
make
sudo make install
**********************
要先安裝git 如未安裝: yun install git
如果報錯
autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
缺少libtool
# yum install libtool*
5.安裝storm
wget
tar vzxf storm-0.9.0.1.tar.gz
6.修改conf下storm.yaml配置檔案
1) storm.zookeeper.servers: Storm叢集使用的Zookeeper叢集地址,其格式如下:
storm.zookeeper.servers:
- "111.222.333.444"
- "555.666.777.888"
2) storm.local.dir: Nimbus和Supervisor程式用於儲存少量狀態,如jars、confs等的本地磁碟目錄,需要提前建立該目錄並給以足夠的訪問許可權。然後在storm.yaml中配置該目錄,如:
storm.local.dir: "/home/admin/storm/workdir"
3) java.library.path: Storm使用的本地庫(ZMQ和JZMQ)載入路徑,預設為"/usr/local/lib:/opt/local/lib:/usr/lib",一般來說ZMQ和JZMQ預設安裝在/usr/local/lib 下,因此不需要配置即可。
4) nimbus.host: Storm叢集Nimbus機器地址,各個Supervisor工作節點需要知道哪個機器是Nimbus,以便下載Topologies的jars、confs等檔案,如:
nimbus.host: "111.222.333.444"
5) supervisor.slots.ports: 對於每個Supervisor工作節點,需要配置該工作節點可以執行的worker數量。每個worker佔用一個單獨的埠用於接收訊息,該配置選項即用於定義哪些埠是可被worker使用的。預設情況下,每個節點上可執行4個workers,分別在6700、6701、6702和6703埠,如:
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
將storm資料夾scp到其他節點
1.Nimbus: 在Storm主控節點上執行"bin/storm nimbus
2.Supervisor: 在Storm各個工作節點上執行"bin/storm supervisor
3.UI: 在Storm主控節點上執行"bin/storm ui
4.透過http://{nimbus host}:8080觀察叢集的worker資源使用情況、Topologies的執行狀態等資訊。
OK
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29754888/viewspace-1261459/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Hbase分散式安裝分散式
- hadoop偽分散式安裝Hadoop分散式
- CentOS7 hadoop3.3.1安裝(單機分散式、偽分散式、分散式)CentOSHadoop分散式
- Redis 偽分散式安裝部署配置Redis分散式
- Storm-1.2.2完全分散式安裝ORM分散式
- Hbase分散式安裝部署過程分散式
- Cassandra安裝及分散式叢集搭建分散式
- 分散式儲存ceph之快速安裝分散式
- Redis分散式快取安裝和使用Redis分散式快取
- centOS安裝zookeeper3.4.6(分散式模式)CentOS分散式模式
- hadoop2.2.0偽分散式安裝Hadoop分散式
- hadoop2.4.1完全分散式安裝Hadoop分散式
- zookeeper 叢集安裝(單點與分散式成功安裝)分散式
- airflow2.0.2分散式安裝文件AI分散式
- 分散式 PostgreSQL 叢集(Citus)官方安裝指南分散式SQL
- Hadoop3偽分散式安裝指南Hadoop分散式
- Hadoop偽分散式安裝(MapReduce+Yarn)Hadoop分散式Yarn
- 分散式檔案系統(FastDFS)安裝 配置分散式AST
- Hadoop yarn完全分散式安裝筆記HadoopYarn分散式筆記
- hadoop 0.20.2偽分散式安裝詳解Hadoop分散式
- 分散式檔案系統之FastDFS安裝部署分散式AST
- 分散式Hadoop1.2.1叢集的安裝分散式Hadoop
- Hadoop完全分散式模式的安裝和配置Hadoop分散式模式
- ZooKeeper分散式專題(一) -- zookeeper安裝以及介紹分散式
- Longhorn 雲原生容器分散式儲存 - Air Gap 安裝分散式AI
- 分散式檔案系統之MogileFS的安裝使用分散式
- 分散式處理框架Hadoop的安裝與使用分散式框架Hadoop
- HDP2.4基於Ambari的分散式安裝部署分散式
- [hadoop] hadoop-all-in-one-偽分散式安裝Hadoop分散式
- 分散式檔案系統fastdfs安裝以及python呼叫分散式ASTPython
- CentOS6 hadoop2.4完全分散式安裝文件CentOSHadoop分散式
- zabbix分散式監控環境完全編譯安裝部署分散式編譯
- 完全分散式Hadoop叢集的安裝部署步驟分散式Hadoop
- Ubuntu下偽分散式模式Hadoop的安裝及配置Ubuntu分散式模式Hadoop
- 在 CentOS 7.1 上安裝分散式儲存系統 CephCentOS分散式
- windows下安裝Jenkins以及配置分散式agent節點WindowsJenkins分散式
- Dubbo分散式架構實戰--FastDFS分散式檔案系統的安裝與使用(單節點)分散式架構AST
- 構建dubbo分散式平臺-window安裝zookeeper註冊中心分散式