==[圖]Spark系列(四)整體架構分析

Spark系列(四)整體架構分析 - 會飛的紙盒 - 部落格園
http://www.cnblogs.com/jianyuan/p/Spark%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84%E5%88%86%E6%9E%90.html

Paste_Image.png

說明

Driver端流程說明(Standalone模式)

使用spark-submit提交Spark應用程式Application.

透過反射的方式建立和構造一個DriverActor程式(Driver程式).

SparkContext初始化，構造DAGScheduler和TaskScheduler.

每執行到一個Action操作就會建立一個job,該job會提交到DAGScheduler，劃分為多個stage然後為每個stage建立一個TaskSet.

TaskScheduler負責連線Master並向Master註冊Application.

TaskScheduler把TaskSet中的每一個task提交到executor上執行(task分配演算法).

SparkContext的初始化在所有Executor完成反向註冊後才完成，並繼續執行提交的應用程式.

Master和Worker流程說明

Master接收到Application註冊請求後會使用自己的資源排程演算法，在Spark叢集的Work上為這個Application啟動多個Executor.

Executor啟動之後反註冊到TaskScheduler.

Executor每次收到一個task都會用TaskRunner來封裝task,然後從執行緒池裡取出一個執行緒執行這個task.

TaskRunner將需執行的運算元及函式、複製、反序列化然後執行task.

作者：葡萄喃喃囈語
連結：
。