spark core原始碼分析1 叢集啟動及任務提交過程
spark版本號:1.4.1
spark原始碼分析目的是在解讀原始碼的過程中記錄一些重要的步驟,加深自己的印象,或許也可以給別人提供一些幫助。
Standalone叢集啟動及任務提交過程詳解
正常啟動及job提交過程如下:
1. 啟動master
2. 啟動worker
3. 客戶端提交application到master
4. master傳送LaunchExecutor指令給相應worker
5. worker啟動Executor程式
6. Executor將自己註冊到driver中
7. 將spark job分解成多個task發散到各個Executor上執行
之後會將各個部分詳細剖析。。。
轉載:http://blog.csdn.net/yueqian_zhu/article/details/47903575
相關文章
- spark原始碼之任務提交過程Spark原始碼
- Docker中提交任務到Spark叢集DockerSpark
- Spark on Yarn 任務提交流程原始碼分析SparkYarn原始碼
- Spark3.0YarnCluster模式任務提交流程原始碼分析SparkYarn模式原始碼
- 大資料分享Spark任務和叢集啟動流程大資料Spark
- spark core原始碼分析2 master啟動流程Spark原始碼AST
- spark core原始碼分析4 worker啟動流程Spark原始碼
- spark核心(下)——job任務提交原始碼解析Spark原始碼
- Express 原始碼分析1-(服務啟動和請求服務過程)Express原始碼
- Spark叢集和任務執行Spark
- Hive原始碼分析(1)——HiveServer2啟動過程Hive原始碼Server
- Spring啟動過程——原始碼分析Spring原始碼
- MapReduce——客戶端提交任務原始碼分析客戶端原始碼
- Netty服務端啟動過程相關原始碼分析Netty服務端原始碼
- 基於原始碼分析apppium服務端啟動過程原始碼APP服務端
- Spark程式碼在叢集上執行過程理解Spark
- 好程式設計師大資料分享Spark任務和叢集啟動流程程式設計師大資料Spark
- SpringMVC原始碼解析(1)-啟動過程SpringMVC原始碼
- Spring Boot原始碼分析-啟動過程Spring Boot原始碼
- Netty NioEventLoop 啟動過程原始碼分析NettyOOP原始碼
- Spring MVC 啟動過程原始碼分析SpringMVC原始碼
- LiteOS-任務篇-原始碼分析-任務排程函式原始碼函式
- Nacos配置中心叢集原理及原始碼分析原始碼
- 【Spark篇】---Spark中資源和任務排程原始碼分析與資源配置引數應用Spark原始碼
- Android 原始碼分析之旅2 1 IPC以及Service的啟動過程Android原始碼
- spark 原始碼分析之十九 -- Stage的提交Spark原始碼
- Spark core篇 Rpc原始碼1SparkRPC原始碼
- spark core原始碼分析3 Master HASpark原始碼AST
- Netty原始碼解析 -- 服務端啟動過程Netty原始碼服務端
- Spring啟動過程——原始碼分析(finishBeanFactoryInitialization(beanFactory))Spring原始碼Bean
- Spring啟動過程原始碼分析基本概念Spring原始碼
- Android系統原始碼分析--Activity啟動過程Android原始碼
- Android系統原始碼分析--Process啟動過程Android原始碼
- Android應用程式啟動過程原始碼分析Android原始碼
- Androd 系統原始碼-3:應用啟動過程的原始碼分析原始碼
- LiteOS-任務篇-原始碼分析-系統啟動函式原始碼函式
- 【原始碼】Redis Server啟動過程原始碼RedisServer
- spark streaming原始碼分析3 排程及執行Spark原始碼