Apache Storm系列 之二（ 輕鬆搞定 Storm 安裝與啟動）

Kooola大資料發表於2018-10-21
ApacheORM

Apache Storm系列 之二（ 輕鬆搞定 Storm 安裝與啟動）

Storm 是開源免費的分佈實時計算系統（Apache Storm is a free and open source distributed realtime computation system）。這裡提到了兩個關鍵詞：

  • 分散式
  • 實時

1、分散式意味著 Storm 是部署在多臺主機上，它解決併發性（多機資源同時作業）以及可用性（一臺主機出現問題，計算任務移交到其他機器）問題

分散式自然而然讓我們聯想到了需要一個協調服務，這裡提到的就是 zookeeper。zookeeper 用於協調 Nimbus、Supervisor。

Apache Storm系列 之二（ 輕鬆搞定 Storm 安裝與啟動）

2、實時則區別於 Mapreduce 的批處理

至於如何從原理上理解 Storm 的特性，我會在後面的文章中具體介紹。本文則簡單介紹如何安裝以及啟動 Storm， 先將其完整的運作起來能夠幫助我們理解以及建立信心。這裡為什麼說是簡單介紹呢，因為安裝並啟動一個 Storm 執行環境確實很簡單。

安裝 Storm 之前請確保你已經安裝好:

  • jdk
  • zookeeper

部署示例

storm部署圖

  • 三臺主機 mini01 + mini02 + mini03
  • zookeeper 部署在三臺主機上
  • mini01 上部署 nimbus 並啟動 UI
  • supervisor 部署在 mini02 和 mini03 上

安裝

zookeeper 叢集安裝

參見 zookeeper 叢集安裝配置 ,當然你可以安裝單節點的 zookeeper

storm 安裝 & 配置

下載解壓

訪問官網，下載你需要的版本，本文使用的是 1.0.6 版本（apache-storm-1.0.6.tar.gz）。 將 apache-storm-1.0.6.tar.gz 拷貝到三臺主機上並解壓。

cd /home/app
tar -zxvf apache-storm-1.0.6.tar.gz
複製程式碼

增加 Storm 環境變數

修改/etc/profile，將 Storm 加入環境變數

vim /etc/profile
複製程式碼

/etc/profile 檔案如下

export STORM_HOME=/home/app/apache-storm-1.0.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$STORM_HOME/bin:$PATH
複製程式碼

生效/etc/profile

source /etc/profile
複製程式碼

修改 Storm 配置檔案

cd apache-storm-1.0.6/conf
vim storm.yaml
複製程式碼

配置每臺主機上的 storm.yaml 檔案，配置內容如下

storm.zookeeper.servers:
        - "mini01"
        - "mini02"
        - "mini03"

storm.local.dir: "/home/app/apache-storm-1.0.6/data"

nimbus.seeds: ["mini01"]

supervisor.slots.ports:
        - 6700
ui: 8088
複製程式碼

其中：

  • storm.zookeeper.servers： 配置 zookeeper 的服務節點，因為這裡使用 zookeeper 的預設埠(2181)，所以 zookeeper 的埠就不需要特別指定
  • storm.local.dir： Nimbus 和 upervisor 需要一個本地目錄存放少量狀態（例如 Jar 包或者配置檔案之類）。使用者首先需要建立這個目錄。
  • nimbus.seeds：nimbus 節點地址，這裡 mini01 主機作為主節點
  • supervisor.slots.ports：配置supervisor，開啟幾個埠插槽，就開啟幾個對應的worker程式
  • ui: 設定Storm Web UI 的 http 埠(可選，本文中我們只在 mini01 上配置該屬性，因為我們訪問的是 mini01:8088)

特別注意，配置項冒號後面需要接一個空格

這裡只列出了幾個能保證服務正常執行的配置項，Storm 提供了很多其他配置項，感興趣的可以看看 Storm 配置檔案原始碼

啟動

mini01 上 啟動 nimbus 以及 Storm UI

nohup storm nimbus &
nohup storm ui &
複製程式碼

mini02 和 mini03 上啟動 supervisor

nohup storm supervisor &
複製程式碼

驗證

jps

mini01 上可以看到 zookeeper(QuorumPeerMain) 以及 nimnus 程式

[root@mini01 5257]# jps
4810 QuorumPeerMain
5257 core
5206 nimbus
5410 Jps
複製程式碼

mini02 和 mini03 上可以看到 supervisor 程式

[root@mini02 bin]# jps
2823 QuorumPeerMain
3100 Supervisor
3191 Jps
複製程式碼

Storm Web UI

訪問 mini01:8088

Storm UI

Tips

在安裝啟動時可能會有一些報錯（例如下面）：

  • storm nimbus not a leader
  • java.util.zip.ZipException: Not in GZIP format
  • org.apache.storm.shade.org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode

請確保：

  • 防火牆沒有阻止埠，包括 zookeeper 和 storm。
  • zookeeper 正常啟動。
  • /etc/hosts 配置正確。

不能正常執行，檢視如下幾個日誌，對症下藥即可：

  • zookeeper 報錯請檢視 ZK_HOME/bin/zookeeper.out;
  • nimbus 報錯請檢視 STORM_HOME/logs/nimbus.log;
  • supervisor 報錯請檢視 STORM_HOME/logs/supervisor.log

掃碼關注微信公眾號
掃碼關注微信公眾號"Kooola大資料"，聊人生|聊技術

相關文章