Hadoop之MapReduce2架構設計

13545163656發表於2018-05-28
Hadoop架構
MapReduces2架構設計
    hadoop2.x 實現MR2 計算 ,資源作業排程-->YARN
   Yanr包括了ResourceManager和NodeManager兩個服務,也屬於Master/Slave架構



ResourceManaher --為使用者提交的jar應用程式建立
    ApplicationsManager: 與NodeManger進行通訊,要求NodeManager中的container啟動應用程式的ApplicationMaster
    ResourceScheduler:資源管理和分配

NodeMnager
    ApplicationMaster:向ApplicationManager註冊,向ResourceScheduler申請資源後與NodeManager通訊,建立應用程式並分配任務監控執行結果
    Map Task|Reduces Task:幹活的 彙報任務狀態及進度給ApplicationMaster

Container  容器,Yanr的元件為執行任務而生


#ResourceSchuduler總大小
yarn.nodemanager.resource.memory-mb
#NodeManger上容器引數,預設1G增長
yarn.scheduler.minimum-allocation-mb       1024
yarn.scheduler.maximum-allocation-mb       8192
#虛擬Core,物理Core與虛擬 1:2
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 4




    





來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31441024/viewspace-2155252/，如需轉載，請註明出處，否則將追究法律責任。

相關文章