Storm應用系列之——Topology部署

五柳-先生發表於2015-11-18
ORM
本系列原始碼地址： https://github.com/EdisonXu/storm-samples

1、Topology有兩種大類提交部署方式：
  • 提交到本地模式，一般用於除錯。該模式下由於是起在同一個JVM程式下，所以不要讓其負載太高。
  • 提交到叢集模式。

1）、提交到本地模式
這個非常的簡單。
a. 編寫程式碼
  1.     public class LocalRunningTopology extends ExclaimBasicTopo {  
  2.       
  3.         public static void main(String[] args) throws Exception {  
  4.       
  5.             LocalRunningTopology topo = new LocalRunningTopology();  
  6.             Config conf = new Config();  
  7.             conf.setDebug(true);  
  8.       
  9.             LocalCluster cluster = new LocalCluster();  
  10.             cluster.submitTopology("test", conf, topo.buildTopology());  
  11.             Utils.sleep(100000);  
  12.             cluster.killTopology("test");  
  13.             cluster.shutdown();  
  14.         }  
  15.     }  
複製程式碼

b. 直接就可以在IDE裡面執行，也可以提交到nimbus上，用nimbus進行本地執行：
  1. ./storm jar storm-samples.jar com.edi.storm.topos.LocalRunningTopology
複製程式碼



2)、提交到叢集
a. 編寫程式碼
  1.     public class ClusterRunningTopology extends ExclaimBasicTopo {  
  2.       
  3.         public static void main(String[] args) throws Exception {  
  4.       
  5.             String topoName = "test";  
  6.               
  7.             ClusterRunningTopology topo = new ClusterRunningTopology();  
  8.             Config conf = new Config();  
  9.             conf.setDebug(true);  
  10.       
  11.             conf.setNumWorkers(3);  
  12.       
  13.             StormSubmitter.submitTopology(topoName, conf, topo.buildTopology());  
  14.         }  
  15.     }  

複製程式碼
b. 編譯jar包
因為我是Maven專案，所以直接 mvn clean install 生成jar
c. 上傳至nimbus部署
./storm jar storm-samples.jar com.edi.storm.topos.ClusterRunningTopology

2、實際開發時常用提交模式
實際開發時，我們往往是把本地和叢集混綁在一起，用傳入引數以示區別
  1.     public static void main(String[] args) throws Exception {  
  2.               
  3.             ExclaimBasicTopo topo = new ExclaimBasicTopo();  
  4.             Config conf = new Config();  
  5.             conf.setDebug(false);  
  6.       
  7.             if (args != null && args.length > 0) {  
  8.                 conf.setNumWorkers(3);  
  9.       
  10.                 StormSubmitter.submitTopology(args[0], conf, topo.buildTopology());  
  11.             } else {  
  12.       
  13.                 LocalCluster cluster = new LocalCluster();  
  14.                 cluster.submitTopology("test", conf, topo.buildTopology());  
  15.                 Utils.sleep(100000);  
  16.                 cluster.killTopology("test");  
  17.                 cluster.shutdown();  
  18.             }  
  19.         }
複製程式碼

這樣，本地就可以不傳參直接執行，而需要部署到叢集時，打完包傳到nimbus上執行命令：
./storm jar storm-samples.jar com.edi.storm.topos.ClusterRunningTopology <TOPO_NAME>
填上一個叢集唯一的<TOPO_NAME>即可。

有人又說了，這樣還不是很方便，我能不能直接在IDE裡面提交到storm叢集？
可以。

3、IDE直接提交至叢集
修改上面提交叢集的程式碼如下：
  1.     public static void main(String[] args) throws Exception {  
  2.       
  3.             String topoName = "test";  
  4.             ExclaimBasicTopo topo = new ExclaimBasicTopo();  
  5.             Config conf = new Config();  
  6.             conf.setDebug(false);  
  7.       
  8.             File jarFile = EJob.createTempJar(RemoteRunningTopology.class.getClassLoader().getResource("").getPath());  
  9.             ClassLoader classLoader = EJob.getClassLoader();  
  10.             Thread.currentThread().setContextClassLoader(classLoader);  
  11.               
  12.             //System.setProperty("storm.jar", Class.forName("com.edi.storm.topos.RemoteRunningTopology").getProtectionDomain().getCodeSource().getLocation().getPath());  
  13.             System.setProperty("storm.jar", jarFile.toString());  
  14.             conf.setNumWorkers(5);  
  15.             conf.setDebug(false);  
  16.             conf.put(Config.NIMBUS_HOST, "10.1.110.24");  
  17.             //conf.put(Config.NIMBUS_THRIFT_PORT, 8889);  
  18.             StormSubmitter.submitTopology(topoName, conf, topo.buildTopology());  
  19.         }  
複製程式碼

起作用的部分主要有三點：
1）. 設定系統變數"storm.jar"。這個變數的值代表要部署的Topology的jar包地址。
這個地址必須是檔案，所以，我們就可以寫完程式碼後自己打個jar包放在某個固定位置，然後IDE直接執行該topology去叢集提交部署。
當然，也可以在程式碼中打jar，所以我這裡的程式碼中加入了一個打包的Utilities類，EJob。
2）. 設定引數Config.NIMBUS_HOST，其值為nimbus的hostname或ip地址。
3）. 設定引數Config.NIMBUS_THRIFT_PORT，其值為nimbus上Thrift介面的地址
也就是nimbus的conf/storm.yaml中引數nimbus.thrift.port的值，前提是你配了。如果沒配，可以不設。

這樣就可以直接在IDE裡面執行提交上去了。

4、Topology提交原理
Topology提交後發生了什麼呢？這個原理要放在這裡講了。因為這直接關係到對Strom執行概念的理解。
1）. Nimbus$Iface的beginFileUpload,uploadChunk以及finishFileUpload方法將執行的包上傳至其資料目錄(storm.yaml中storm.local.dir對應的目錄)下的inbox目錄。
  1.     /{storm.local.dir}  
  2.       |  
  3.       | - /nimbus  
  4.             |  
  5.             | - /inbox  
  6.                   |  
  7.                   | - /stormjar-{uuid}.jar  

複製程式碼
不論上傳的包名字是什麼，最終會變成stormjar-{uuid}.jar。
2）. Nimbus$Iface的submitTopology方法會負責對這個topology進行處理，首先是對Storm本身及topology進行一些校驗：
a. 檢查Storm狀態是否active
b. 檢查是否有同名topology在執行
c. 檢查是否有同id的spout和bolt，以及其id是否合法。任何一個id都不能以"_"開頭，這種命名方式是系統保留的。
3）. 建立topology的本地目錄
  1.     /{storm.local.dir}  
  2.         |  
  3.         | - /nimbus  
  4.               |  
  5.               | - /inbox  
  6.               | - /stormdist  
  7.                     |  
  8.                     | - /{topology-id}  
  9.                             |  
  10.                             | - /stormjar.jar -- 包含這個topology所有程式碼的jar包(從nimbus/inbox挪過來)  
  11.                             |  
  12.                             | -/stormcode.ser -- 這個topology物件的序列化  
  13.                             | -/stormconf.ser -- 執行這個topology的配置  
複製程式碼
4）. 建立該topology在zookeeper上的心跳目錄
nimbus老兄是個有責任心的人，它雖然最終會把任務分成一個個task讓supervisor去做，但是它時刻在關注著大家的情況，所以它要求每個task每隔一定時間就要給它打個招呼（心跳資訊），讓它知道事情還在正常發展。如果有task超時不打招呼，nimbus會人為這個task不行了，然後進行重新分配。zookeeper上的心跳目錄：
  1.     /<span style="font-family: Consolas, 'Liberation Mono', Courier, monospace;">{storm.zookeeper.root}</span>  
  2.       
  3.       |  
  4.       | - /workerbeats  
  5.              |  
  6.              | - {topology-id}  
  7.                     |  
  8.                     | - /{task-id}  -- task的心跳資訊，包括心跳的時間，task執行時間以及一些統計資訊  
複製程式碼
5）. 計算topology的工作量
nimbus會根據topology中給的parallelism hint引數，來給spout/bolt設定task數目，並分配相應的task-id，然後把分配號的task資訊寫到zookeeper上去：
  1.     /{storm.zookeeper.root}  
  2.       |  
  3.       | - /assignments  
  4.             |  
  5.             | - /{topology-id}  
複製程式碼
6）. 儲存toplogy資訊到zookeeper
  1.     /{storm.zookeeper.root}  
  2.         |  
  3.         | - /storms  
  4.               |  
  5.               | - /{topology-id}  
複製程式碼
7）. supervisor因為監聽了zookeeper上的目錄，所以當它發現有topology時，會先把所有的topology的資訊如jar等下到本地，並刪除不再執行的topology的本地資訊
  1.     /{storm.local.dir}  
  2.         |  
  3.         | - /supervisor  
  4.               |  
  5.               | - stormdist  
  6.                    |  
  7.                    | - {topology-id}  
  8.                           |  
  9.                           | - stormcode.ser  
  10.                           | - stormconf.ser  
  11.                           | - stormjar.jar  
複製程式碼
8）. supervisor根據分配的任務，去啟動worker去處理assignment9）. worker啟動後，會去zookeeper上找其對應的task。同時根據task的outbound資訊建立對外的socket連線，將來傳送tuple就是從這些socket連線發出去的。
到這裡，一個topology就已經完全部署和運轉起來了


原文地址：http://blog.csdn.net/xeseo/article/details/18219183

相關文章