Yarn-cluster 與 Yarn-client的區別

小飛雲發表於2017-06-27

總結性地說,Yarn-cluster模式提交作業後,可關掉client,適合生產環境;Yarn-client適合互動式的,開發環境。


本質上,對Spark on Yarn叢集,是Spark Driver在哪裡執行、誰進行排程的區別。

Yarn-cluster模式,Spark Driver執行在Application Master所在的機器上,因此該機器一定是叢集中某個節點;Application Master所在的executor是應用程式提交後向Resource Manager申請的第一個Executor中,之後的資源申請都是通過Application Master向RM申請。

Yarn-client模式,Spark Driver執行在Client所在的機器,AM啟動後負責程式執行過程中向RM申請需要的資源(Executor),程式之間的排程、通訊是Driver程式和NM之間,AM不參與。


參考連結:

https://www.iteblog.com/archives/1223.html

http://www.cnblogs.com/MOBIN/p/5857314.html