storm流式大資料處理流行嗎
在如今這個資訊高速增長的今天,資訊實時計算處理能力已經是一項專業技能了,正是因為有了這些需求的存在才使得分散式,同時具備高容錯的實時計算系統Storm才變得如此受歡迎,為什麼這麼說呢?下面看看新霸哥的介紹。
優點之一:高可靠性
對Storm有了解的朋友可能會知道spout發出的訊息後續可能會觸發產生成千上萬條訊息,可以形象的理解為一棵訊息樹,其中spout發出的訊息可以非常形象的比喻為樹根,Storm會跟蹤這棵訊息樹的處理情況,只有當這棵訊息樹中的所有訊息都被處理了,Storm才會認為spout發出的這個訊息已經被“完全處理”。如果這棵訊息樹中的任何一個訊息處理失敗了,或者整棵訊息樹在限定的時間內沒有“完全處理”,那麼spout發出的訊息就會重發。
支援多種程式語言
新霸哥發現多語言協議是Storm內部的一種特殊協議,允許spout或者bolt使用標準輸入和標準輸出來進行訊息傳遞,傳遞的訊息為單行文字或者是json編碼的多行。
支援本地模式
簡單的來說就是在程式中模擬一個Storm叢集的所有功能,以本地模式執行topology跟在叢集上執行topology類似,這對於我們開發和測試來說非常有用。
高容錯性是一項很重要的指標
任何一個程式在執行的過程中都會有異常情況的出現,如果在訊息處理過程中出了一些異常,Storm會重新安排這個出問題的處理單元。Storm保證一個處理單元永遠執行,如果你要殺掉這個處理單元就不會執行了。
有了上面這些特性後,Storm就流行起來了,是大資料時代的一個解決方案,非常值得軟體開發愛好者的學習,好了,新霸哥今天就寫到這裡了,更多的雲端計算技術歡迎大家關注新霸哥。
優點之一:高可靠性
對Storm有了解的朋友可能會知道spout發出的訊息後續可能會觸發產生成千上萬條訊息,可以形象的理解為一棵訊息樹,其中spout發出的訊息可以非常形象的比喻為樹根,Storm會跟蹤這棵訊息樹的處理情況,只有當這棵訊息樹中的所有訊息都被處理了,Storm才會認為spout發出的這個訊息已經被“完全處理”。如果這棵訊息樹中的任何一個訊息處理失敗了,或者整棵訊息樹在限定的時間內沒有“完全處理”,那麼spout發出的訊息就會重發。
支援多種程式語言
新霸哥發現多語言協議是Storm內部的一種特殊協議,允許spout或者bolt使用標準輸入和標準輸出來進行訊息傳遞,傳遞的訊息為單行文字或者是json編碼的多行。
支援本地模式
簡單的來說就是在程式中模擬一個Storm叢集的所有功能,以本地模式執行topology跟在叢集上執行topology類似,這對於我們開發和測試來說非常有用。
高容錯性是一項很重要的指標
任何一個程式在執行的過程中都會有異常情況的出現,如果在訊息處理過程中出了一些異常,Storm會重新安排這個出問題的處理單元。Storm保證一個處理單元永遠執行,如果你要殺掉這個處理單元就不會執行了。
有了上面這些特性後,Storm就流行起來了,是大資料時代的一個解決方案,非常值得軟體開發愛好者的學習,好了,新霸哥今天就寫到這裡了,更多的雲端計算技術歡迎大家關注新霸哥。
相關文章
- 流式大資料處理的三種框架:Storm,Spark和Samza大資料框架ORMSpark
- 淺談Storm流式處理框架ORM框架
- 流式處理框架storm淺析(下篇)框架ORM
- 《Storm技術內幕與大資料實踐》一1.2其他流式處理框架ORM大資料框架
- Mysql增量寫入Hdfs(二) --Storm+hdfs的流式處理MySqlORM
- Java8 新特性之流式資料處理Java
- 三個大資料處理框架:Storm,Spark和Samza介紹比較大資料框架ORMSpark
- 《Storm實時資料處理》一1.1 簡介ORM
- Storm大資料位置ORM大資料
- 使用流式計算引擎 eKuiper 處理 Protocol Buffers 資料UIProtocol
- RocketMQ Connect 構建流式資料處理平臺MQ
- 使用Storm、Kafka和ElasticSearch處理實時資料 -javacodegeeksORMKafkaElasticsearchJava
- Spark Streaming 流式處理Spark
- Serverless Streaming:毫秒級流式大檔案處理探秘Server
- Apache Beam,批處理和流式處理的融合!Apache
- 大資料常用處理框架大資料框架
- Go 通過 Map/Filter/ForEach 等流式 API 高效處理資料GoFilterAPI
- Storm保證訊息處理ORM
- java大資料處理:如何使用Java技術實現高效的大資料處理Java大資料
- 大資料Storm 之RCE實踐大資料ORM
- 大資料處理的基本流程大資料
- 大資料三種處理方式大資料
- 大資料處理之道書評大資料
- 剖析大資料平臺的資料處理大資料
- 資料庫如何處理大資料訪問資料庫大資料
- 大資料storm學習之我觀大資料ORM
- 【雲端大資料實戰】大資料誤區、大資料處理步驟分析大資料
- 大資料處理平臺都有哪些?大資料
- 大資料處理系統有哪些大資料
- mysql大資料高併發處理MySql大資料
- 大資料學習之Hadoop如何高效處理大資料大資料Hadoop
- 上海寶付大資料分析storm結合大資料ORM
- 大資料6.1 - 實時分析(storm和kafka)大資料ORMKafka
- 大資料處理需留意哪些問題大資料
- 大資料處理過程是怎樣大資料
- 大資料處理流程包括哪些環節大資料
- 大資料處理的開發經驗大資料
- 資料處理的 9 大程式語言