提交Application的兩種方式
一.提交Application的兩種方式分別是client方式和cluster方式
1.client方式
這種方式,Driver程式是在client端啟動
啟動程式碼樣例
spark -submit --master spark://hadoop1:7077 --class jarPath
2.cluster方式
這種當時Driver程式不在client端啟動,而是在及群眾隨機一個Worker節點上啟動
啟動程式碼樣例
spark -submit --master spark://hadoop1:7077 --deploy -mode cluster --class jarPath
二.為什麼要有兩種提交方式
client用於測試環境不適於生產環境
原因:測試時在客戶端上可以提交jar包也可以看到執行的結果。但是頻繁提交應用程式會與叢集會有大量的通訊,佔用網路卡流量,所以不適於在生產環境應用。
cluster用於生產環境不適用於測試環境
原因:每次提交程式會隨機選擇一個Worker節點,這樣網路卡流量集中的問及就解決了。
三.Driver程式與Spark叢集的通訊種類
1.申請資源
2.Executor啟動完畢後,會向Driver反向註冊
3.Driver在分發task的時候
4.Executor程式與Driver程式有心跳機制(順便說一下,在Spark叢集中的心跳是Worker向Master傳送)
相關文章
- Git提交程式碼倉庫的兩種方式Git
- Android提交資料到伺服器的兩種方式四種方法Android伺服器
- 【Spark篇】---Spark中yarn模式兩種提交任務方式SparkYarn模式
- Js提交表單的兩種方法JS
- 提交資料四種方式
- Express 提交資料的幾種方式Express
- ChatTTS的兩種使用方式TTS
- 三種 Post 提交資料方式
- JS 垃圾回收的兩種方式JS
- Docker打包映象的兩種方式Docker
- sparkrdd轉dataframe的兩種方式Spark
- 建立Session物件的兩種方式Session物件
- 【Spark篇】--Spark中Standalone的兩種提交模式Spark模式
- 整理post提交資料的四種解析方式
- Flink Yarn的2種任務提交方式Yarn
- 四種常見的 POST 提交資料方式
- zabbix agent 的兩種安裝方式
- HTTP代理的兩種連線方式HTTP
- redis的php驅動兩種方式RedisPHP
- JavaScript 函式的兩種宣告方式JavaScript函式
- RAC時間同步的兩種方式
- SSH綜合查詢的兩種方式
- easyUI 初始化的兩種方式UI
- 建立oracle dblink 的兩種方式Oracle
- 安裝aab包的兩種方式
- Oracle兩種備份方式Oracle
- 隱藏元素兩種方式
- PHP表單提交驗證各種方式PHP
- Native 工程整合Flutter 的兩種方式Flutter
- ubuntu建立使用者的兩種方式Ubuntu
- Java鍵盤錄入的兩種方式Java
- 兩種go傳送郵件的方式Go
- php 與 nginx 的兩種處理方式PHPNginx
- React元件方法的兩種定義方式React元件
- springboot使用webSocket的兩種方式Spring BootWeb
- java 傳遞引數的兩種方式Java
- java執行緒建立的兩種方式Java執行緒
- IOS檢測晃動的兩種方式iOS