spark核心原始碼深度剖析

風一樣的男人_發表於2018-08-15
Spark原始碼

深度理解spark核心的前提和作用

1、已經達到可以熟練進行Spark程式設計的程度。

2、Spark核心原始碼的研究，是Spark學習的承上啟下階段。

3、核心原始碼研究透徹之後，才可以通往Spark高手 / Spark精通的道路。

4、才可以繼續進行Spark效能優化的學習。

5、才可以在實際工作中，在Spark應用報錯出現故障時，讀懂log，通過log分析問題的原因，甚至根據log直接到原始碼中尋找答案，最後解決線上故障。

 

spark核心結構：

1、Application

2、spark-submit

3、Driver

4、SparkContext

5、Master

6、Worker

7、Executor

8、Job

9、DAGScheduler

10、TaskScheduler

11、ShuffleMapTask and ResultTask

 

 

相關文章