Spark Streaming精進之前必須瞭解的基本概念

花括號MC發表於2020-04-06

Spark

原創：花括號MC(微信公眾號：huakuohao-mc)。關注JAVA基礎程式設計及大資料，注重經驗分享及個人成長。

Spark整體介紹

Spark是一個快速的，多用途的計算系統。這是來自官網的自我介紹。一般敢自稱系統的都是有兩把刷子的，況且還是多用途的計算系統。Spark計算系統包含如下功能元件

Spark Core: Spark的核心功能模組。

Spark SQL: 用於處理結構化資料。

MLlib：用於機器學習。

GraphX：用於影像處理。

Spark Streaming：用於處理實時資料流。

包含如此多的功能，自稱多功能計算系統也是可以的。這篇文章幫大家梳理一下學習Spark Streaming過程中可能會讓你產生困惑的基本概念。

RDD

Spark Core 是 Spark的核心模組，這個模組提供了一個核心概念叫做RDD(resilient distributed dataset)。你可以簡單的把它理解成一個資料片段集合，你要處理的源資料檔案可以分解成很多個RDD。Spark為RDD提供了兩種型別的操作，一種是transformations，一種是 action。

transformations：如果一個RDD經過某種操作之後，生成一個新的RDD，那麼這個操作就是transaction的。比如，map,flatMap,filter等。 action：對一個RDD進行計算操作，以生成某種結果，比如reduce，count等操作。

注意：所有的transformations都是Lazy的，也就是說只有碰到action操作的時候才會執行前面的transformations操作。

DStream

Spark Streaming 是用來處理流式資料的，假設我們規定每隔一秒鐘（通過duration設定）取一次資料，那麼這段時間內積讚的資料就稱為一個batch，裡面的資料就用DStream表示。從編寫程式碼的角度來看，你可以把DStream和RDD同等對待，因為他們的運算元操作都是一樣的。但是他們的資料結構還是有著本質不同的，我們可以把DStream簡單的理解成是RDD加上了時間戳。如下圖

DAG

Spark 使用DAG 進行資料建模，DAG 被稱為有向無環圖，有向無環圖的定義是這樣的 "在圖論中，如果一個有向圖從任意頂點出發無法經過若干條邊回到該點，則這個圖是一個有向無環圖（DAG,directed acyclic graph）"，我們通過一個簡單的例子來感受一下，Spark是如何使用DAG建模的。

下面的程式碼可以完成一段文字內容的各個單詞的數量統計。


var textFile = sc.textFile(args[1]);
var result = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b);
result.saveAsTextFile(args[2]);

複製程式碼

上面這段程式碼可以用下面這個圖表示

這就是一個簡單的DAG模型，資料按照方向流動，再也回不到原點。Spark Streaming將這個DAG模型，不斷的應用到每一個Batch裡面的資料中。大家可以把DAG模型理解成類，它是資料處理的模版，而每個Batch裡面的資料就是不同的例項物件。

Job,Stage,Task

Spark應用程式啟動之後，我們會利用Spark提供的監控頁面來檢視程式的執行情況。在頁面上會看到Job，Stage，Task等內容展示，如果不理解他們代表什麼意思，那麼Spark好心好意提供的監控頁面對我們來說就毫無意義。下面給大家簡單說一下這些概念到底什麼意思，以及他們之間的關係。

先來看個圖

從圖中可以看出，一個Application被分解成多個Job，每個Job又分解成多個Stage，Stage又會分解成多個Task，而Task是任務執行的最小單元，最終會被Executor執行。

Application：簡單的說就是我們寫的應用程式碼，啟動起來之後就是一個Application。

Job：由Spark的action運算元觸發。也就是每遇到一個action運算元就會觸發一個Job任務，這個時候就會執行前面的一系列transformations操作。

Stage：Job任務會繼續分解成Stage，Stage是根據DAG的寬窄依賴來劃分，也就是RDD之間的依賴關係。從後往前，每遇到一個寬依賴就劃分為一個Stage。

寬依賴（Shuffle/Wide Dependency）：父RDD的分割槽和子RDD的分割槽是一對多或者多對多的關係。比如groupByKey,reduceByKey,join等操作

窄依賴（Narrow Dependency）：父RDD的分割槽和子RDD的分割槽的關係是一對一或者多對一的關係,比如map,flatmap,filter等操作。

寬窄依賴的定義可以用如下圖，形象的展示。

拿文章開頭的單詞統計程式為例，Stage劃分情況應該是這樣的。

task：Stage包含很多Task，每個Task會執行Stage中包含的運算元。

以上就是Spark精進之路上必須瞭解的基本概念，希望對各位有幫助。

Spark Streaming精進之前必須瞭解的基本概念

Spark整體介紹

RDD

DStream

DAG

Job,Stage,Task

相關文章