Spark工作流程
一、Spark架構組成圖：
待補充......
-
..............
-
..............
-
......................
Glossary
The following table summarizes terms you’ll see used to refer to cluster concepts:
| Term | Meaning |
|---|---|
| Application | 基於Spark的使用者程式 (建立了一個SparkContext ) .由一個 driver 程式 和N個 executor 程式 on the cluster模式下. |
| Application jar |
Spark包含的jar包
|
| Driver program | 一個Driver程式執行 main() 方法,建立一個SparkContext |
| Cluster manager |
提交叢集(--master local/standalone/on yarn)模式下的資源管理(提交設定code memory....) |
| Deploy mode | 區分Driver程式在什麼地方cluster or client, 主要區別 是Driver在本地還是叢集的Container裡 |
| Worker node |
執行Spark程式碼的應用程式的節點(standalone模式概念),在(on yarn)模式下是NodeManager
|
| Executor | 一個Executor程式,執行在Container裡,能夠執行我們Task,儲存資料到記憶體裡或者磁碟上，每一個應用程式有自己獨立的Executor |
| Task | 最小的工作單元,Driver傳送程式碼到Executor然後Task執行 |
| Job |
每一個Action就會產生job(map,conllect) |
| Stage | 每個Job被拆成Task集合,遇到shuffle會stage+1 |
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31441024/viewspace-2212637/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- Spark的工作原理Spark
- Spark Streaming ：基本工作原理Spark
- Spark RDD中Runtime流程解析Spark
- 《深入理解Spark》之Spark的整體執行流程Spark
- Spark原始碼解析-Yarn部署流程（ApplicationMaster）Spark原始碼YarnAPPAST
- Spark Streaming 生產、消費流程梳理Spark
- Gitflow 工作流程Git
- Git工作流程Git
- HTTPS工作流程HTTP
- springMVC工作流程SpringMVC
- 《深入理解Spark》之sparkSQL 處理流程SparkSQL
- 測試工作流程
- 工作臺快速搭建流程
- mydumper工作流程圖流程圖
- springMVC DispatcherServlet 工作流程SpringMVCServlet
- Spark Task 的執行流程② - 建立、分發 TaskSpark
- 初識 Git 工作流程Git
- Git分支工作流程Git
- 單人 Git 工作流程Git
- Window的工作流程梳理
- http,https的工作流程HTTP
- 以太坊之工作流程
- Spark學習（一）——執行模式與執行流程Spark模式
- Cocos Creator 的工作流程 2.4
- DHCP協議工作流程分析協議
- openStack核心元件的工作流程元件
- 軟體測試工作流程
- Spark Task 的執行流程④ - task 結果的處理Spark
- 深入淺出理解 Spark：環境部署與工作原理Spark
- 理解zip函式的工作流程函式
- View工作流程-相關學習View
- 遊戲前端工作流程總結遊戲前端
- xdebug 各場景下工作流程
- 執行緒池的工作流程執行緒
- 我的效能測試工作流程
- Texture+PBR兩種工作流程
- kubernetes排程概念與工作流程
- 【第三篇】- Git 工作流程Git