storm流式大資料處理流行嗎

雲端計算-魏軍發表於2016-08-22
在如今這個資訊高速增長的今天,資訊實時計算處理能力已經是一項專業技能了,正是因為有了這些需求的存在才使得分散式,同時具備高容錯的實時計算系統Storm才變得如此受歡迎,為什麼這麼說呢?下面看看新霸哥的介紹。


  優點之一:高可靠性


  對Storm有了解的朋友可能會知道spout發出的訊息後續可能會觸發產生成千上萬條訊息,可以形象的理解為一棵訊息樹,其中spout發出的訊息可以非常形象的比喻為樹根,Storm會跟蹤這棵訊息樹的處理情況,只有當這棵訊息樹中的所有訊息都被處理了,Storm才會認為spout發出的這個訊息已經被“完全處理”。如果這棵訊息樹中的任何一個訊息處理失敗了,或者整棵訊息樹在限定的時間內沒有“完全處理”,那麼spout發出的訊息就會重發。


  支援多種程式語言


  新霸哥發現多語言協議是Storm內部的一種特殊協議,允許spout或者bolt使用標準輸入和標準輸出來進行訊息傳遞,傳遞的訊息為單行文字或者是json編碼的多行。


  支援本地模式


  簡單的來說就是在程式中模擬一個Storm叢集的所有功能,以本地模式執行topology跟在叢集上執行topology類似,這對於我們開發和測試來說非常有用。


  高容錯性是一項很重要的指標


  任何一個程式在執行的過程中都會有異常情況的出現,如果在訊息處理過程中出了一些異常,Storm會重新安排這個出問題的處理單元。Storm保證一個處理單元永遠執行,如果你要殺掉這個處理單元就不會執行了。


  有了上面這些特性後,Storm就流行起來了,是大資料時代的一個解決方案,非常值得軟體開發愛好者的學習,好了,新霸哥今天就寫到這裡了,更多的雲端計算技術歡迎大家關注新霸哥。

相關文章