《Storm企業級應用:實戰、運維和調優》——2.5 本章小結

華章計算機發表於2017-07-03

本節書摘來自華章計算機《Storm企業級應用:實戰、運維和調優》一書中的第2章,第2.5節,作者:馬延輝 陳書美 雷葆華著, 更多章節內容可以訪問雲棲社群“華章計算機”公眾號檢視。

2.5 本章小結

在Storm中使用ZooKeeper主要用於完成Storm叢集各節點的分散式協調工作,一是儲存客戶端提供的Topology任務資訊,Nimbus負責將任務分配資訊寫入ZooKeeper,Supervisor從ZooKeeper上讀取任務分配資訊;二是儲存Supervisor和Worker的心跳(包括它們的狀態),使得Nimbus可以監控整個叢集的狀態,從而重啟一些掛掉的Worker;三是儲存整個叢集的所有狀態資訊和配置資訊。由於ZooKeeper在Storm叢集中的重要性,本章詳細介紹了ZooKeeper的安裝。
Storm使用ZeroMQ傳送訊息,這就消除了中間的排隊過程,使得訊息能夠直接在任務自身之間流動。在訊息的背後,是一種用於序列化和反序列化Storm的原語型別的自動化且高效的機制。Storm使用ZooKeeper協調叢集時,由於ZooKeeper並不用於傳遞訊息,所以Storm給ZooKeeper帶來的壓力相當低。大多數情況下,單個節點的ZooKeeper叢集足夠勝任,不過為了確保故障恢復或者部署大規模Storm叢集,可能需要更大規模節點的ZooKeeper叢集。


相關文章