Spark on Yarn 和Spark on Mesos
Spark on Yarn模式
分散式部署叢集,資源和任務監控交給yarn管理,但是目前僅支援粗粒度資源分配方式,包含了cluster和client執行模式,cluster適合生產,driver執行在叢集子節點,具有容錯功能,client適合除錯,driver執行在客戶端
Spark on Mesos模式
官方推薦這種模式(原因之一是血緣關係)。正是由於Spark開發之初就考慮到支援Mesos,因此,目前而言,Spark執行在Mesos上會比執行在YARN上更加靈活,更加自然。使用者可選擇兩種排程模式之一執行自己的應用程式:
1:粗粒度模式(Coarse-grained Mode):每個應用程式的執行環境由一個Dirver和若干個Executor組成,其中,每個Executor佔用若干資源,內部可執行多個Task(對應多少個“slot”)。應用程式的各個任務正式執行之前,需要將執行環境中的資源全部申請好,且執行過程中要一直佔用這些資源,即使不用,最後程式執行結束後,回收這些資源。
2:細粒度模式(Fine-grained Mode):鑑於粗粒度模式會造成大量資源浪費,Spark On Mesos還提供了另外一種排程模式:細粒度模式,這種模式類似於現在的雲端計算,思想是按需分配.。
另外還有Standalone模式,在這不多bb了
分散式叢集服務,自帶的完整服務,Spark自己進行資源管理和任務監控,此模式是其他模式的基礎,
如有錯誤,望大家多多指正
相關文章
- 12 Spark on YARNSparkYarn
- Spark on Yarn 實踐SparkYarn
- 搭建spark on yarn 叢集SparkYarn
- spark 與 yarn 結合SparkYarn
- Spark:Yarn-client與Yarn-clusterSparkYarnclient
- Spark 原始碼系列(七)Spark on yarn 具體實現Spark原始碼Yarn
- Spark原始碼解析-Yarn部署流程(ApplicationMaster)Spark原始碼YarnAPPAST
- 部署Spark2.2叢集(on Yarn模式)SparkYarn模式
- Spark UI (基於Yarn) 分析與定製SparkUIYarn
- Spark入門(五)--Spark的reduce和reduceByKeySpark
- Spark之HiveSupport連線(spark-shell和IDEA)SparkHiveIdea
- Spark RDD在Spark中的地位和作用如何?Spark
- Spark之spark shellSpark
- Spark系列 - (3) Spark SQLSparkSQL
- Hive on Spark和Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Hive on Spark 和 Spark sql on Hive,你能分的清楚麼HiveSparkSQL
- Spark學習進度-Spark環境搭建&Spark shellSpark
- 【Spark】Spark容錯機制Spark
- sparkSpark
- spark-submit提交到yarn中執行的log怎麼看?SparkMITYarn
- spark學習筆記--Spark SQLSpark筆記SQL
- spark學習筆記-- Spark StreamingSpark筆記
- Spark 系列(十四)—— Spark Streaming 基本操作Spark
- Spark 系列(十五)—— Spark Streaming 整合 FlumeSpark
- 【Spark篇】---Spark故障解決(troubleshooting)Spark
- Spark記錄(一):Spark全景概述Spark
- hadoop和spark的區別HadoopSpark
- Hive和Spark分割槽策略HiveSpark
- Spark SQL | Spark,從入門到精通SparkSQL
- spark2.2.0 配置spark sql 操作hiveSparkSQLHive
- Hello Spark! | Spark,從入門到精通Spark
- Spark 系列(九)—— Spark SQL 之 Structured APISparkSQLStructAPI
- Spark文件閱讀之一:Spark OverviewSparkView
- Spark學習筆記(三)-Spark StreamingSpark筆記
- Spark —— Spark OOM Error問題排查定位SparkOOMError
- spark with hiveSparkHive
- spark MapPartitionsRDDSparkAPP
- Spark 加入Spark