Spark on Yarn 和Spark on Mesos
Spark on Yarn模式
分散式部署叢集,資源和任務監控交給yarn管理,但是目前僅支援粗粒度資源分配方式,包含了cluster和client執行模式,cluster適合生產,driver執行在叢集子節點,具有容錯功能,client適合除錯,driver執行在客戶端
Spark on Mesos模式
官方推薦這種模式(原因之一是血緣關係)。正是由於Spark開發之初就考慮到支援Mesos,因此,目前而言,Spark執行在Mesos上會比執行在YARN上更加靈活,更加自然。使用者可選擇兩種排程模式之一執行自己的應用程式:
1:粗粒度模式(Coarse-grained Mode):每個應用程式的執行環境由一個Dirver和若干個Executor組成,其中,每個Executor佔用若干資源,內部可執行多個Task(對應多少個“slot”)。應用程式的各個任務正式執行之前,需要將執行環境中的資源全部申請好,且執行過程中要一直佔用這些資源,即使不用,最後程式執行結束後,回收這些資源。
2:細粒度模式(Fine-grained Mode):鑑於粗粒度模式會造成大量資源浪費,Spark On Mesos還提供了另外一種排程模式:細粒度模式,這種模式類似於現在的雲端計算,思想是按需分配.。
另外還有Standalone模式,在這不多bb了
分散式叢集服務,自帶的完整服務,Spark自己進行資源管理和任務監控,此模式是其他模式的基礎,
如有錯誤,望大家多多指正
相關文章
- 12 Spark on YARNSparkYarn
- hive on spark on yarnHiveSparkYarn
- Spark on Yarn 實踐SparkYarn
- spark 與 yarn 結合SparkYarn
- 搭建spark on yarn 叢集SparkYarn
- Spark on Yarn 環境搭建SparkYarn
- Spark:Yarn-client與Yarn-clusterSparkYarnclient
- Spark 原始碼系列(七)Spark on yarn 具體實現Spark原始碼Yarn
- Spark開發-Yarn cluster模式SparkYarn模式
- spark on yarn 資料插入mysqlSparkYarnMySql
- 【Spark篇】---Spark中yarn模式兩種提交任務方式SparkYarn模式
- Spark on mesos的坑以及解決辦法Spark
- Spark on Yarn 部分一原理及使用SparkYarn
- 開源DAWN,Spark和Mesos後Stanford的又一力作Spark
- 部署Spark2.2叢集(on Yarn模式)SparkYarn模式
- Spark UI (基於Yarn) 分析與定製SparkUIYarn
- Spark原始碼解析-Yarn部署流程(ApplicationMaster)Spark原始碼YarnAPPAST
- spark on yarn 的資源排程器設定.SparkYarn
- Spark on Yarn 任務提交流程原始碼分析SparkYarn原始碼
- Spark開發-spark執行原理和RDDSpark
- Spark入門(五)--Spark的reduce和reduceByKeySpark
- Spark RDD在Spark中的地位和作用如何?Spark
- 【Spark篇】---Spark中Shuffle機制,SparkShuffle和SortShuffleSpark
- Spark之spark shellSpark
- 【Spark篇】---Spark初始Spark
- Spark之HiveSupport連線(spark-shell和IDEA)SparkHiveIdea
- 【Spark篇】---Spark中廣播變數和累加器Spark變數
- Spark系列 - (3) Spark SQLSparkSQL
- 基於樹莓派的叢集實驗(一)--spark on yarn樹莓派SparkYarn
- Hive on Spark和Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Hive on Spark 和 Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- 【Spark篇】---Spark資源排程和任務排程Spark
- spark基礎之spark sql執行原理和架構SparkSQL架構
- Spark學習進度-Spark環境搭建&Spark shellSpark
- 【Spark】Spark容錯機制Spark
- Spark導論(Spark自學一)Spark
- sparkSpark
- spark-submit提交到yarn中執行的log怎麼看?SparkMITYarn