MapReduce1架構設計
MapReduces1架構設計
hadoop1.x MR1 (計算+資源作業排程)
存在JobTracker和TaskTracker(map task+reduce task)兩個程式,屬於主從架構
JobTracker:
監控資源和作業排程,透過心跳監控所有TaskTracker和job健康狀況
告訴排程器蹤任務使用資源使用情況
TaskTracker:
負責接收和執行JobTracker傳送的命令
將節點資源使用情況和任務情況彙報JobTracker
TaskScheduler:
任務排程器(FIFO原則 先出先出,根據作業優先 時間先手順序執行)
hadoop1.x MR1 (計算+資源作業排程)
存在JobTracker和TaskTracker(map task+reduce task)兩個程式,屬於主從架構
JobTracker:
監控資源和作業排程,透過心跳監控所有TaskTracker和job健康狀況
告訴排程器蹤任務使用資源使用情況
TaskTracker:
負責接收和執行JobTracker傳送的命令
將節點資源使用情況和任務情況彙報JobTracker
TaskScheduler:
任務排程器(FIFO原則 先出先出,根據作業優先 時間先手順序執行)
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31441024/viewspace-2155250/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 架構設計思想-微服務架構設計模式架構微服務設計模式
- 架構設計架構
- 遊戲架構 遊戲架構設計(8)遊戲架構
- Nginx架構設計Nginx架構
- groupcache 架構設計PCA架構
- Tumblr 架構設計架構
- 架構與設計架構
- 架構設計之一——基礎架構架構
- 架構設計之架構的演變架構
- 架構師修煉之道(二)——架構?設計?架構師?架構
- SaaS架構:開放平臺架構設計架構
- 網站架構設計網站架構
- 架構設計方法論架構
- 面向架構程式設計架構程式設計
- 架構設計(九):估算架構
- 架構設計方法初探架構
- MVP架構設計 初探MVP架構
- 軟體架構設計架構
- WebService Soap架構設計Web架構
- 架構、框架、設計模架構框架
- 學習架構設計架構
- 企業架構設計?架構
- 如何設計app架構?APP架構
- 常用的設計架構架構
- 軟體架構設計原則和模式(上):分層架構設計架構模式
- spark架構設計&程式設計模型01Spark架構程式設計模型
- 讀《前端架構設計》 兼談架構與框架前端架構框架
- SaaS架構:多租戶系統架構設計架構
- SaaS架構:中央庫存系統架構設計架構
- 【Apollo】(2)--- Apollo架構設計架構
- 秒殺架構模型設計架構模型
- Fresco架構設計賞析架構
- 小程式渲染架構設計架構
- UI架構設計的演化UI架構
- 如何精心設計CDN架構架構
- 理解Underscore的設計架構架構
- Dubbo架構設計詳解架構
- 事件驅動架構設計事件架構