Yarn-cluster 與 Yarn-client的區別
總結性地說,Yarn-cluster模式提交作業後,可關掉client,適合生產環境;Yarn-client適合互動式的,開發環境。
本質上,對Spark on Yarn叢集,是Spark Driver在哪裡執行、誰進行排程的區別。
Yarn-cluster模式,Spark Driver執行在Application Master所在的機器上,因此該機器一定是叢集中某個節點;Application Master所在的executor是應用程式提交後向Resource Manager申請的第一個Executor中,之後的資源申請都是通過Application Master向RM申請。
Yarn-client模式,Spark Driver執行在Client所在的機器,AM啟動後負責程式執行過程中向RM申請需要的資源(Executor),程式之間的排程、通訊是Driver程式和NM之間,AM不參與。
參考連結:
相關文章
- Spark:Yarn-client與Yarn-clusterSparkYarnclient
- ??與?:的區別
- MySQL的@與@@區別MySql
- mybatis #與$的區別MyBatis
- Null 與 “” 的區別Null
- &與&&, |與||區別
- in與exist , not in與not exist 的區別
- CentOS 與 Ubuntu 的區別CentOSUbuntu
- artice與section的區別
- GET 與 POST 的區別
- WebSocket 與 Socket 的區別Web
- Postgresql與MySQL的區別MySql
- chown與chmod的區別
- session與cookie的區別SessionCookie
- LESS與SASS的區別
- free 與 CFRelease 的區別
- gulp與webpack的區別Web
- @Autowired 與@Resource的區別
- let與var的區別
- post與get的區別
- HashSet與HashMap的區別HashMap
- maven與ant的區別Maven
- __new()__ 與 __init()__的區別
- TCP與UDP的區別TCPUDP
- Mysql與mongodb的區別MySqlMongoDB
- typedef與define的區別
- Eureka與Zookeeper的區別
- buffer與cache的區別
- async與defer的區別
- synchronized與Lock的區別synchronized
- kill與pkill的區別
- int與Integer的區別
- HTML與XHTML的區別HTML
- mysql與Oracle的區別MySqlOracle
- UDP與TCP的區別UDPTCP
- Javascript中“==”與“===”的區別JavaScript
- for...in與for...of的區別
- Oracle - @和@@、&與&& 的區別Oracle