Spark工作流程
一、Spark架構組成圖：
待補充......
-
..............
-
..............
-
......................
Glossary
The following table summarizes terms you’ll see used to refer to cluster concepts:
| Term | Meaning |
|---|---|
| Application | 基於Spark的使用者程式 (建立了一個SparkContext ) .由一個 driver 程式 和N個 executor 程式 on the cluster模式下. |
| Application jar |
Spark包含的jar包
|
| Driver program | 一個Driver程式執行 main() 方法,建立一個SparkContext |
| Cluster manager |
提交叢集(--master local/standalone/on yarn)模式下的資源管理(提交設定code memory....) |
| Deploy mode | 區分Driver程式在什麼地方cluster or client, 主要區別 是Driver在本地還是叢集的Container裡 |
| Worker node |
執行Spark程式碼的應用程式的節點(standalone模式概念),在(on yarn)模式下是NodeManager
|
| Executor | 一個Executor程式,執行在Container裡,能夠執行我們Task,儲存資料到記憶體裡或者磁碟上，每一個應用程式有自己獨立的Executor |
| Task | 最小的工作單元,Driver傳送程式碼到Executor然後Task執行 |
| Job |
每一個Action就會產生job(map,conllect) |
| Stage | 每個Job被拆成Task集合,遇到shuffle會stage+1 |
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31441024/viewspace-2212637/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- Spark的工作原理Spark
- 工作流程
- 《深入理解Spark》之Spark的整體執行流程Spark
- Spark RDD中Runtime流程解析Spark
- Spark job分配流程原始碼分析Spark原始碼
- Spark Streaming ：基本工作原理Spark
- Git工作流程Git
- Gitflow 工作流程Git
- MapReduce工作流程
- Git 工作流程Git
- Spark Streaming 生產、消費流程梳理Spark
- 《深入理解Spark》之sparkSQL 處理流程SparkSQL
- Spark原始碼解析-Yarn部署流程（ApplicationMaster）Spark原始碼YarnAPPAST
- Spark開發-WordCount流程詳細講解Spark
- HTTPS工作流程HTTP
- 測試工作流程
- mydumper工作流程圖流程圖
- Mysql工作流程分析MySql
- 藍芽工作流程藍芽
- 轉：Git 工作流程Git
- rails git工作流程AIGit
- springMVC工作流程SpringMVC
- 工作臺快速搭建流程
- Spark修煉之道（高階篇）——Spark原始碼閱讀：第一節 Spark應用程式提交流程Spark原始碼
- Spark Task 的執行流程② - 建立、分發 TaskSpark
- spark core原始碼分析2 master啟動流程Spark原始碼AST
- spark core原始碼分析4 worker啟動流程Spark原始碼
- Spark on Yarn 任務提交流程原始碼分析SparkYarn原始碼
- Window的工作流程梳理
- 單人 Git 工作流程Git
- 初識 Git 工作流程Git
- 以太坊之工作流程
- Git分支工作流程Git
- MapReduce工作原理流程簡介
- spring mvc 工作流程SpringMVC
- 成本會計工作流程
- 理解Git的工作流程Git
- springMVC DispatcherServlet 工作流程SpringMVCServlet