Storm
storm 不處理靜態資料,但它處理連續的流資料。
1.Storm用於實時計算,Hadoop用於離線計算。
2. Storm處理的資料儲存在記憶體中,源源不斷;Hadoop處理的資料儲存在檔案系統中,一批一批。
3. Storm的資料透過網路傳輸進來;Hadoop的資料儲存在磁碟中。
4. Storm與Hadoop的程式設計模型相似
Nimbus
Storm叢集的Master節點,負責分發使用者程式碼,指派給具體的Supervisor節點上的Worker節點,去執行Topology對應的元件(Spout/Bolt)的Task。
Supervisor
Storm叢集的從節點,負責管理執行在Supervisor節點上的每一個Worker程式的啟動和終止。透過Storm的配置檔案中的supervisor.slots.ports配置項,可以指定在一個Supervisor上最大允許多少個Slot,每個Slot透過埠號來唯一標識,一個埠號對應一個Worker程式(如果該Worker程式被啟動)。
Nimbus
Storm叢集的Master節點,負責分發使用者程式碼,指派給具體的Supervisor節點上的Worker節點,去執行Topology對應的元件(Spout/Bolt)的Task。
Supervisor
Storm叢集的從節點,負責管理執行在Supervisor節點上的每一個Worker程式的啟動和終止。透過Storm的配置檔案中的supervisor.slots.ports配置項,可以指定在一個Supervisor上最大允許多少個Slot,每個Slot透過埠號來唯一標識,一個埠號對應一個Worker程式(如果該Worker程式被啟動)。
Worker
執行具體處理元件邏輯的程式。Worker執行的任務型別只有兩種,一種是Spout任務,一種是Bolt任務。
Task
worker中每一個spout/bolt的執行緒稱為一個task. 在storm0.8之後,task不再與物理執行緒對應,不同spout/bolt的task可能會共享一個物理執行緒,該執行緒稱為executor。
ZooKeeper
Topology:Storm中執行的一個實時應用程式的名稱。將 Spout、 Bolt整合起來的拓撲圖。定義了 Spout和 Bolt的結合關係、併發數量、配置等等。
Spout:在一個topology中獲取源資料流的元件。通常情況下spout會從外部資料來源中讀取資料,然後轉換為topology內部的源資料。
Bolt:接受資料然後執行處理的元件,使用者可以在其中執行自己想要的操作。
Tuple:一次訊息傳遞的基本單元,理解為一組訊息就是一個Tuple。
Stream:Tuple的集合。表示資料的流向。
————————————————
版權宣告:本文為CSDN博主「一路前行1」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處連結及本宣告。
原文連結:
https://blog.csdn.net/weiyongle1996/article/details/77142245
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69949806/viewspace-2904394/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Storm 系列(九)—— Storm 整合 KafkaORMKafka
- Storm系列(六)storm和kafka整合ORMKafka
- Storm 系列(三)—— Storm 單機版本環境搭建ORM
- Storm系列(三)java編寫第個storm程式ORMJava
- springBoot+kfaka+stormSpring BootORM
- Storm與kafka整合ORMKafka
- kafka+storm+hbaseKafkaORM
- storm簡單案例ORM
- Apache Storm系列 之二( 輕鬆搞定 Storm 安裝與啟動)ApacheORM
- storm 初識編碼ORM
- Storm學習總結ORM
- SpringBoot整合Kafka和StormSpring BootKafkaORM
- storm-kafka-client使用ORMKafkaclient
- Storm近年的發展ORM
- Storm大資料位置ORM大資料
- storm 架構和原理ORM架構
- 搞定storm-入門ORM
- storm(1.1.3)與kafka(1.0.0)整合ORMKafka
- Storm中Trident框架詳解ORMIDE框架
- Storm架構與執行原理ORM架構
- Storm系列(二)常用shell命令操作ORM
- 【譯】Apache Storm系列 之一(核心概念)ApacheORM
- Akka 和 Storm 的設計差異ORM
- Storm模擬分析電話日誌ORM
- Storm確保訊息被消費ORM
- Storm-1.2.2完全分散式安裝ORM分散式
- storm叢集啟動停止指令碼ORM指令碼
- 大資料Storm 之RCE實踐大資料ORM
- 流式處理框架storm淺析(下篇)框架ORM
- Storm系列(一)環境搭建安裝ORM
- Storm系列(五)DRPC實現遠端呼叫ORMRPC
- Storm的wordcount程式碼編寫與分析ORM
- Storm介紹&實際開發注意事項ORM
- 大資料6.1 - 實時分析(storm和kafka)大資料ORMKafka
- 上海寶付大資料分析storm結合大資料ORM
- Storm系列(四)並行度和流分組ORM並行
- Apache 流框架 Flink,Spark Streaming,Storm對比分析(1)Apache框架SparkORM
- Apache 流框架 Flink,Spark Streaming,Storm對比分析(2)Apache框架SparkORM