storm流式大資料處理流行嗎
在如今這個資訊高速增長的今天,資訊實時計算處理能力已經是一項專業技能了,正是因為有了這些需求的存在才使得分散式,同時具備高容錯的實時計算系統Storm才變得如此受歡迎,為什麼這麼說呢?下面看看新霸哥的介紹。
優點之一:高可靠性
對Storm有了解的朋友可能會知道spout發出的訊息後續可能會觸發產生成千上萬條訊息,可以形象的理解為一棵訊息樹,其中spout發出的訊息可以非常形象的比喻為樹根,Storm會跟蹤這棵訊息樹的處理情況,只有當這棵訊息樹中的所有訊息都被處理了,Storm才會認為spout發出的這個訊息已經被“完全處理”。如果這棵訊息樹中的任何一個訊息處理失敗了,或者整棵訊息樹在限定的時間內沒有“完全處理”,那麼spout發出的訊息就會重發。
支援多種程式語言
新霸哥發現多語言協議是Storm內部的一種特殊協議,允許spout或者bolt使用標準輸入和標準輸出來進行訊息傳遞,傳遞的訊息為單行文字或者是json編碼的多行。
支援本地模式
簡單的來說就是在程式中模擬一個Storm叢集的所有功能,以本地模式執行topology跟在叢集上執行topology類似,這對於我們開發和測試來說非常有用。
高容錯性是一項很重要的指標
任何一個程式在執行的過程中都會有異常情況的出現,如果在訊息處理過程中出了一些異常,Storm會重新安排這個出問題的處理單元。Storm保證一個處理單元永遠執行,如果你要殺掉這個處理單元就不會執行了。
有了上面這些特性後,Storm就流行起來了,是大資料時代的一個解決方案,非常值得軟體開發愛好者的學習,好了,新霸哥今天就寫到這裡了,更多的雲端計算技術歡迎大家關注新霸哥。
優點之一:高可靠性
對Storm有了解的朋友可能會知道spout發出的訊息後續可能會觸發產生成千上萬條訊息,可以形象的理解為一棵訊息樹,其中spout發出的訊息可以非常形象的比喻為樹根,Storm會跟蹤這棵訊息樹的處理情況,只有當這棵訊息樹中的所有訊息都被處理了,Storm才會認為spout發出的這個訊息已經被“完全處理”。如果這棵訊息樹中的任何一個訊息處理失敗了,或者整棵訊息樹在限定的時間內沒有“完全處理”,那麼spout發出的訊息就會重發。
支援多種程式語言
新霸哥發現多語言協議是Storm內部的一種特殊協議,允許spout或者bolt使用標準輸入和標準輸出來進行訊息傳遞,傳遞的訊息為單行文字或者是json編碼的多行。
支援本地模式
簡單的來說就是在程式中模擬一個Storm叢集的所有功能,以本地模式執行topology跟在叢集上執行topology類似,這對於我們開發和測試來說非常有用。
高容錯性是一項很重要的指標
任何一個程式在執行的過程中都會有異常情況的出現,如果在訊息處理過程中出了一些異常,Storm會重新安排這個出問題的處理單元。Storm保證一個處理單元永遠執行,如果你要殺掉這個處理單元就不會執行了。
有了上面這些特性後,Storm就流行起來了,是大資料時代的一個解決方案,非常值得軟體開發愛好者的學習,好了,新霸哥今天就寫到這裡了,更多的雲端計算技術歡迎大家關注新霸哥。
相關文章
- 流式處理框架storm淺析(下篇)框架ORM
- Mysql增量寫入Hdfs(二) --Storm+hdfs的流式處理MySqlORM
- 使用Storm、Kafka和ElasticSearch處理實時資料 -javacodegeeksORMKafkaElasticsearchJava
- RocketMQ Connect 構建流式資料處理平臺MQ
- Storm大資料位置ORM大資料
- 使用流式計算引擎 eKuiper 處理 Protocol Buffers 資料UIProtocol
- Spark Streaming 流式處理Spark
- Serverless Streaming:毫秒級流式大檔案處理探秘Server
- Go 通過 Map/Filter/ForEach 等流式 API 高效處理資料GoFilterAPI
- Apache Beam,批處理和流式處理的融合!Apache
- 大資料常用處理框架大資料框架
- 大資料Storm 之RCE實踐大資料ORM
- java大資料處理:如何使用Java技術實現高效的大資料處理Java大資料
- 大資料處理的基本流程大資料
- 剖析大資料平臺的資料處理大資料
- 大資料學習之Hadoop如何高效處理大資料大資料Hadoop
- Python資料處理(二):處理 Excel 資料PythonExcel
- 大資料處理系統有哪些大資料
- 大資料處理平臺都有哪些?大資料
- 上海寶付大資料分析storm結合大資料ORM
- 大資料6.1 - 實時分析(storm和kafka)大資料ORMKafka
- 流式處理新秀Flink原理與實踐
- 資料處理
- 阿里巴巴資深大資料工程師:大資料處理實踐阿里大資料工程師
- 大資料處理流程包括哪些環節大資料
- 大資料處理過程是怎樣大資料
- 大資料處理需留意哪些問題大資料
- Java如何使用實時流式計算處理?Java
- Spark在處理資料的時候,會將資料都載入到記憶體再做處理嗎?Spark記憶體
- 玩轉大資料系列之二:資料分析與處理大資料
- 傳統的資料處理方式能否應對大資料?大資料
- 大資料爭論:批處理與流處理的C位之戰大資料
- 你知道MySQL是如何處理千萬級資料的嗎?MySql
- 大資料框架對比 - Hadoop、Spark、Storm、Samza、Spark、Flink大資料框架HadoopSparkORM
- Vaex助力高效處理大規模資料集
- 大資料常見的處理方法有哪些大資料
- Matlab實驗資料處理程式大彙總Matlab
- 專業人士處理大資料所需的技能大資料
- 分享Hadoop處理大資料工具及優勢Hadoop大資料