spark core原始碼分析1 叢集啟動及任務提交過程

五柳-先生發表於2016-01-29

spark版本號:1.4.1

spark原始碼分析目的是在解讀原始碼的過程中記錄一些重要的步驟,加深自己的印象,或許也可以給別人提供一些幫助。


Standalone叢集啟動及任務提交過程詳解



正常啟動及job提交過程如下:

1. 啟動master

2. 啟動worker

3. 客戶端提交application到master

4. master傳送LaunchExecutor指令給相應worker

5. worker啟動Executor程式

6. Executor將自己註冊到driver中

7. 將spark job分解成多個task發散到各個Executor上執行


之後會將各個部分詳細剖析。。。

轉載:http://blog.csdn.net/yueqian_zhu/article/details/47903575

相關文章