Spark開發-Local模式
部署及程式執行
Local模式,就是執行在本地,如果不加任何配置,Spark模式設定為Local模式,以WordCount為例,Local模式下的應用程式的啟動命令如下
./bin/run-example org.apache.spark.examples.JavaWordCount local
在WordCount程式碼的具體實現中,是根據使用者傳入的引數來選擇執行的模式的,如果需要自己在程式碼中指定執行模式,可以通過在程式碼中配置Master為local來實現
val conf=new SparkConf();//建立SparkConf物件
conf.setAppName(“WordCount”)//設定應用程式的名稱,在程式執行的監控介面可以看到這個名
conf.setMaster(“local”) //此時,程式在本地執行,不需要安裝spark叢集
當然,為了使應用程式能夠更靈活地在各種部署環境下使用,不建議把與執行環境相關的設定直接在程式碼中寫死。
內部實現原理
Local本地模式使用LocalBackend配置TaskSchedulerImp1,內部邏輯結構如下
LocalBackend相應Scheduler的ReviveOffers請求,根據可用的CPU核的設定值[N]直接生成CPU資源返回給Scheduler,並通過Executor類線上程池中依次啟動和執行Scheduler返回的任務列表,其核心事件迴圈由內部類LocalActor以Akka Actor的訊息處理形式來實現
因為Local模式無須配置,同時所有的程式碼都在本地程式中執行,所以常常可以作為快速驗證程式碼和跟蹤除錯的手段
相關文章
- 01-Spark的Local模式與應用開發入門Spark模式
- eclipse Java Spark local模式EclipseJavaSpark模式
- Spark開發-Standalone模式Spark模式
- Spark開發-Yarn cluster模式SparkYarn模式
- Spark開發-Spark執行模式及原理一Spark模式
- Spark開發-Spark核心細說Spark
- Spark開發-spark環境搭建Spark
- Spark開發-SparkSql的開發SparkSQL
- Spark開發-spark執行原理和RDDSpark
- Spark開發-控制操作Spark
- Spark開發-transformations操作SparkORM
- Spark開發-Action操作Spark
- Spark面試題(七)——Spark程式開發調優Spark面試題
- Spark開發-Shuffle優化Spark優化
- Spark 從零到開發(五)初識Spark SQLSparkSQL
- hadoop3.1.3 local 模式配置Hadoop模式
- Spark開發-廣播變數Spark變數
- IDEA開發Spark應用並提交本地Spark 2.1.0 standIdeaSpark
- Spark 效能調優--開發階段Spark
- Spark開發-RDD介面程式設計Spark程式設計
- Spark開發-WordCount詳細講解Spark
- Spark開發-HA環境的搭建Spark
- 如何用 Spark 快速開發應用?Spark
- 【Spark篇】--Spark中Standalone的兩種提交模式Spark模式
- StreamAnalytix Visual Spark Studio (二)!Spark開發史上最強大的神器,只需拖拽控制元件即可完成Spark開發,造福國內的Spark開發者!Spark控制元件
- spark 基礎開發 Tips總結Spark
- 在Intellij中開發Spark--demoIntelliJSpark
- Spark開發-RDD分割槽重新劃分Spark
- Spark開發-WordCount流程詳細講解Spark
- 大資料開發-Spark-初識Spark-Graph && 快速入門大資料Spark
- Spark叢集部署(standLone)模式Spark模式
- Spark Standalone模式 高可用部署Spark模式
- MVC開發模式MVC模式
- 微商複合模式系統開發(開發系統模式)模式
- Learning Spark——使用Intellij Idea開發基於Maven的Spark程式SparkIntelliJIdeaMaven
- 【Spark篇】---Spark中yarn模式兩種提交任務方式SparkYarn模式
- Spark2.4.5叢集安裝與本地開發Spark
- 大資料開發-Spark Join原理詳解大資料Spark