Storm 是開源免費的分佈實時計算系統(Apache Storm is a free and open source distributed realtime computation system)。這裡提到了兩個關鍵詞:
- 分散式
- 實時
1、分散式意味著 Storm 是部署在多臺主機上,它解決併發性(多機資源同時作業)以及可用性(一臺主機出現問題,計算任務移交到其他機器)問題
分散式自然而然讓我們聯想到了需要一個協調服務,這裡提到的就是 zookeeper。zookeeper 用於協調 Nimbus、Supervisor。
2、實時則區別於 Mapreduce 的批處理
至於如何從原理上理解 Storm 的特性,我會在後面的文章中具體介紹。本文則簡單介紹如何安裝以及啟動 Storm, 先將其完整的運作起來能夠幫助我們理解以及建立信心。這裡為什麼說是簡單介紹呢,因為安裝並啟動一個 Storm 執行環境確實很簡單。
安裝 Storm 之前請確保你已經安裝好:
- jdk
- zookeeper
部署示例
- 三臺主機 mini01 + mini02 + mini03
- zookeeper 部署在三臺主機上
- mini01 上部署 nimbus 並啟動 UI
- supervisor 部署在 mini02 和 mini03 上
安裝
zookeeper 叢集安裝
參見 zookeeper 叢集安裝配置 ,當然你可以安裝單節點的 zookeeper
storm 安裝 & 配置
下載解壓
訪問官網,下載你需要的版本,本文使用的是 1.0.6 版本(apache-storm-1.0.6.tar.gz)。 將 apache-storm-1.0.6.tar.gz 拷貝到三臺主機上並解壓。
cd /home/app
tar -zxvf apache-storm-1.0.6.tar.gz
複製程式碼
增加 Storm 環境變數
修改/etc/profile,將 Storm 加入環境變數
vim /etc/profile
複製程式碼
/etc/profile 檔案如下
export STORM_HOME=/home/app/apache-storm-1.0.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$STORM_HOME/bin:$PATH
複製程式碼
生效/etc/profile
source /etc/profile
複製程式碼
修改 Storm 配置檔案
cd apache-storm-1.0.6/conf
vim storm.yaml
複製程式碼
配置每臺主機上的 storm.yaml 檔案,配置內容如下
storm.zookeeper.servers:
- "mini01"
- "mini02"
- "mini03"
storm.local.dir: "/home/app/apache-storm-1.0.6/data"
nimbus.seeds: ["mini01"]
supervisor.slots.ports:
- 6700
ui: 8088
複製程式碼
其中:
- storm.zookeeper.servers: 配置 zookeeper 的服務節點,因為這裡使用 zookeeper 的預設埠(2181),所以 zookeeper 的埠就不需要特別指定
- storm.local.dir: Nimbus 和 upervisor 需要一個本地目錄存放少量狀態(例如 Jar 包或者配置檔案之類)。使用者首先需要建立這個目錄。
- nimbus.seeds:nimbus 節點地址,這裡 mini01 主機作為主節點
- supervisor.slots.ports:配置supervisor,開啟幾個埠插槽,就開啟幾個對應的worker程式
- ui: 設定Storm Web UI 的 http 埠(可選,本文中我們只在 mini01 上配置該屬性,因為我們訪問的是 mini01:8088)
特別注意,配置項冒號後面需要接一個空格
這裡只列出了幾個能保證服務正常執行的配置項,Storm 提供了很多其他配置項,感興趣的可以看看 Storm 配置檔案原始碼
啟動
mini01 上 啟動 nimbus 以及 Storm UI
nohup storm nimbus &
nohup storm ui &
複製程式碼
mini02 和 mini03 上啟動 supervisor
nohup storm supervisor &
複製程式碼
驗證
jps
mini01 上可以看到 zookeeper(QuorumPeerMain) 以及 nimnus 程式
[root@mini01 5257]# jps
4810 QuorumPeerMain
5257 core
5206 nimbus
5410 Jps
複製程式碼
mini02 和 mini03 上可以看到 supervisor 程式
[root@mini02 bin]# jps
2823 QuorumPeerMain
3100 Supervisor
3191 Jps
複製程式碼
Storm Web UI
訪問 mini01:8088
Tips
在安裝啟動時可能會有一些報錯(例如下面):
- storm nimbus not a leader
- java.util.zip.ZipException: Not in GZIP format
- org.apache.storm.shade.org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode
請確保:
- 防火牆沒有阻止埠,包括 zookeeper 和 storm。
- zookeeper 正常啟動。
- /etc/hosts 配置正確。
不能正常執行,檢視如下幾個日誌,對症下藥即可:
- zookeeper 報錯請檢視 ZK_HOME/bin/zookeeper.out;
- nimbus 報錯請檢視 STORM_HOME/logs/nimbus.log;
- supervisor 報錯請檢視 STORM_HOME/logs/supervisor.log
掃碼關注微信公眾號"Kooola大資料",聊人生|聊技術