Spark Streaming簡單入門（示例+原理）

這樣每隔一個batch時間間隔，都會將在這個時間間隔內接收的資料形成一個RDD，這樣就會產生一個RDD序列，每個RDD代表資料流中一個時間間隔內的資料。正是這個RDD序列，形成SparkStreaming應用的輸入DStream。

從宏觀來說，Spark Streaming 使用“微批次”的架構，把流式計算當作一系列連續的小規模批處理來對待。Spark Streaming 從各種輸入源中讀取資料，並把資料分組為小的batch。新的batch按均勻的時間間隔建立出來。在每個時間區間開始的時候，一個新的batch就建立出來，在該區間內收到的資料都會被新增到這個batch中。在時間區間結束時，batch停止增長。時間區間的大小是由batch間隔這個引數決定的。batch間隔一般設在500 毫秒到幾秒之間，由應用開發者配置。每個輸入batch都形成一個RDD，以Spark 作業的方式處理並生成其他的RDD。處理的結果可以以批處理的方式傳給外部系統。

StreamingContext初始化後，包括Receiver啟動後，再到生成輸入DStream，就完成了SparkStreaming應用程式的準備工作。

DStream的轉化操作

在建立好輸入DStream後，對其呼叫了filter()運算元，filter()運算元是轉化操作，會將操作應用到DStream的每一個RDD。

需要記住的是，儘管這些函式看起來像作用在整個流上一樣，但事實上每個DStream 在內部是由許多RDD（批次）組成，且這些轉化操作是分別應用到每個RDD 上的。例如，filter()會對DStream內的每個時間區間的資料（RDD）進行過濾，reduceByKey() 會歸約每個RDD中的資料，但不會歸約不同區間之間的資料。

對於本文的示例，對輸入DStream作filter操作後生成新的DStream的過程如下：

Spark Streaming允許DStream的資料輸出到外部系統，如資料庫或檔案系統，輸出的資料可以被外部系統所使用，該操作類似於RDD的輸出操作。

在Spark核心中，作業是由一系列具有依賴關係的RDD及作用於這些RDD上的運算元函式所組成的操作鏈。在遇到行動操作時觸發執行，向DAGScheduler提交併執行作業。Spark Streaming中作業的生成與Spark核心類似，對DStream進行的各種操作讓它們之間構建起依賴關係。

當遇到DStream使用輸出操作時，這些依賴關係以及它們之間的操作會被記錄到名為DStreamGraph的物件中表示一個job。這些job註冊到DStreamGraph並不會立即執行，而是等到Spark Streaming啟動後，到達批處理時間時，才根據DSteamGraph生成job處理該批處理時間內接收的資料。在Spark Streaming如果應用程式中存在多個輸出操作，那麼在批處理中會產生多個job。

與RDD中的惰性求值類似，如果一個DStream及其派生出的DStream都沒有被執行輸出操作，那麼這些DStream就都不會被求值。如果StreamingContext中沒有設定輸出操作，整個context就都不會啟動。

常用的一種除錯性輸出操作是print()，它會在每個批次中抓取DStream的前十個元素列印出來。

總體來說，Spark Streaming是將流式計算分解成一系列短小的批處理作業。這裡的批處理引擎是Spark Core，也就是Spark Streaming將輸入資料按照batch interval（如5秒）分成一段一段的資料（Discretized Stream），每一段資料都轉換成Spark中的RDD（Resilient Distributed Dataset），然後將Spark Streaming中對DStream的Transformation操作變為針對DSteam內各個RDD的Transformation操作，將RDD經過操作變成中間結果儲存在記憶體中。整個流式計算根據業務的需求可以對中間的結果進行疊加或者儲存到外部裝置

假設batchInterval = 5s， SparkStreaming啟動之後，0-5s內一直接受資料，假設SparkStreaming處理這一個批次資料的時間是3s，那麼5-8s內一邊接收新資料（開始第二批次），同時會觸發DStream的job執行，這時會啟動另一個執行緒處理第一批次的資料；8-10s內只是接收資料（還是第二批次）；10-13s內一邊接收新資料（開始第三批次），一邊處理第二批次的資料，然後13-15s只是接收資料（還是第三批次），如此往復進行資料的接收與處理。

SparkStreaming進行流資料處理大致可以分為：啟動流處理引擎、接收及儲存流資料、處理流資料和輸出處理結果等4個步驟，其執行架構如下

（1） 初始化StreamingContext物件，在該物件啟動過程中例項化DStreamGraph和JobScheduler，其中DStreamGraph用於存放DStream以及DStream之間的依賴關係等資訊，而JobScheduler中包括ReceiverTracker和JobGenerator。其中ReceiverTracker為Driver端流資料接收器（Receiver）的管理者，JobGenerator為批處理作業生成器。在ReceiverTracker啟動過程中，根據流資料接收器分發策略通知對應的Executor中的流資料接收管理器（ReceiverSupervisor）啟動，再由ReceiverSupervisor啟動流資料接收器Receiver。

（2） 當流資料接收器Receiver啟動後，持續不斷地接收實時流資料，根據傳過來資料的大小進行判斷，如果資料量很小，則攢多條資料成一塊，然後再進行塊儲存；如果資料量大，則直接進行塊儲存。對於這些資料Receiver直接交給ReceiverSupervisor，由其進行資料轉儲操作。塊儲存根據是否設定預寫日誌分為兩種，一種是使用非預寫日誌BlockManagerBasedBlockHandler方法直接寫到Worker的記憶體或磁碟中，另一種是進行預寫日誌WriteAheadLogBasedBlockHandler方法，即在預寫日誌同時把資料寫入到Worker的記憶體或磁碟中。資料儲存完畢後，ReceiverSupervisor會把資料儲存的元資訊上報給ReceiverTracker，ReceiverTracker再把這些資訊轉發給ReceiverBlockTracker，由它負責管理收到的資料塊的元資訊。

（4） 在Spark核心的作業隊資料進行處理，處理完畢後輸出到外部系統，如資料庫或檔案系統，輸出的資料可以被外部系統所使用。 由於實時流資料的資料來源源不斷地流入，Spark會週而復始地進行資料處理，相應地也會持續不斷地輸出結果。

————————————————

推薦閱讀：

https://blog.csdn.net/u012369535/article/details/93042905