前面幾篇文章對 Yarn 基本架構、程式基礎庫、應用設計方法等進行了介紹。之後幾篇將開始對 Yarn 核心元件進行剖析。
ResourceManager（RM）是 Yarn 的核心管理服務，負責叢集管理、任務排程、狀態機管理等，本篇將對 RM 總體架構進行介紹。
一、RM 基本職能
主要包含以下幾個功能：
- Client 互動：處理來自 Client 的請求；
- 管理 ApplicationMaster：啟動、管理、重啟等；
- 管理 Nodemanager：接收 NM 彙報的資源資訊，並下達管理指令；
- 資源管理與排程：接收 AM 的資源請求，並分配資源。
如上圖所示，RM 中各元件透過對應 RPC 與各 Client 進行通訊：
- ResourceTrackerProtocol: NodeManager（NM）透過該 RPC 協議向 RM 註冊、彙報節點健康狀況和 Container 執行狀態，並領取 RM 下達的命令。NM 與 RM 之間採用了「pull模型」，NM 總是週期性地主動向 RM 發起請求（心跳），並領取下達給自己的命令。
- ApplicationMasterProtocol: 應用程式的 ApplicationMaster 透過該 RPC 協議向 RM 註冊、申請資源和釋放資源。（AM 與 RM 互動參考上一篇文章「3-3 Yarn Application Master 編寫」）
- ApplicationClientProtocol: 應用程式的客戶端透過該 RPC 協議向 ResourceManager 提交應用程式、查詢應用程式狀態和控制應用程式（比如殺死應用程式）等。（AppClient 與 RM 互動參考文章「3-2 Yarn Client 編寫」
從以上介紹中可以看出，與 RM 透過 RPC 通訊的元件都採用「Pull 模型」，各個「Client」透過心跳定期向 RM 彙報，在心跳返回值中領取 RM 下達的指令。
二、RM 內部架構
本節將深入 RM 內部，看其內部組織結構和主要模組，架構圖如下所示：
一）使用者互動模組
RM 分別針對普通使用者、管理員和 Web 提供了三種對外服務：
- ClientRMService: 為普通使用者提供的服務，它處理來自客戶端各種RPC請求，比如提交應用程式、終止應用程式、獲取應用程式執行狀態等；
- AdminService: RM 為管理員提供了一套獨立的服務介面，以防止管理員傳送的管理命令餓死，管理員可透過這些介面管理叢集，比如動態更新節點列表、更新ACL列表、更新佇列資訊等；
- WebApp: 更加友好地展示叢集資源使用情況和應用程式執行狀態等資訊。
二） NM 管理模組
- NMLivelinessMonitor: 監控 NM 是否活著，長時間（預設為10min）內未彙報心跳資訊，則認為其掛了；
- NodesListManager: 維護正常節點和異常節點列表，管理exclude（類似於黑名單）和include（類似於白名單）節點列表，這兩個列表均是在配置檔案中設定的，可以動態載入；
- ResourceTrackerService: 處理來自 NM 的請求，主要包括註冊和心跳兩種請求。
三） AM 管理模組
- AMLivelinessMonitor: 監控AM是否活著，長時間未彙報心跳，它上面所有正在執行的 Container 將被置為失敗狀態，而 AM 本身會被重新分配到另外一個節點上執行（AM 重試次數預設是2）；
- ApplicationMasterLauncher: 與某個 NM 通訊，要求它為某個應用程式啟動 ApplicationMaster；
- ApplicationMasterService（AMS）: 處理來自 AM 的請求，主要包括註冊和心跳兩種請求。其中心跳彙報資訊包含所需資源描述、待釋放的Container列表、黑名單列表等，而 AMS 則為之返回相應的 Container 資訊。
四） Application 管理模組
- ApplicationACLsManage: 管理應用程式訪問許可權，包含兩部分許可權：檢視許可權和修改許可權；
- RMAppManager: 管理應用程式的啟動和關閉；
- ContainerAllocationExpirer: 當 AM 收到 RM 新分配的一個 Container 後，必須在一定的時間內啟動該 Container，否則將被回收。
五）狀態機管理模組
RM 共維護四類狀態機：
- RMApp: 維護一個 Application 的整個執行週期，可能會包括多次 Attempt；
- RMAppAttempt: 一個例項執行失敗後，可能再次啟動一個重新執行，而每次啟動稱為一次執行嘗試用 「RMAppAttempt」描述，RMAppAttempt 維護了一次執行嘗試的整個生命週期；
- RMContainer: 維護一個 Container 的執行週期。RM 將資源封裝成 Container 傳送給應用程式的 AM，而AM 則會在 Container 中啟動任務；
- RMNode: 維護一個 NM 的生命週期，包括啟動到執行結束整個過程。
六）安全管理模組
RM 有非常全面的許可權管理機制，主要包括：
- ClientToAMSecretManager
- ContainerTokenSecretManager
- ApplicationTokenSecretManager
七）資源分配模組
該模組主要涉及一個元件「ResourceScheduler」。其是資源排程器，按照一定的約束條件（比如佇列容量限制等）將叢集中的資源分配給各個應用程式。
ResourceScheduler 是一個插拔式模組，自帶三個排程器，使用者可以自己定製：
- FIFO：先進先出，單使用者
- Fair Scheduler:公平排程器(FairScheduler基本上具備其它兩種的所有功能)
- Capacity Scheduler:容量排程器
此部分將在後面文章中更詳細的介紹。
三、RM事件與事件處理器
Yarn採用了事件驅動機制，而RM是的實現則是最好的例證。所有服務和元件均是透過中央非同步排程器組織在一起的，不同元件之間透過事件互動，從而實現了一個非同步並行的高效系統。
下面是詳細的表格：
四、小結
在 YARN 中，ResourceManager 負責叢集中所有資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源彙報資訊，並把這些資訊按照一定的策略分配給各個應用程式。
本篇對 ResourceManager 總體架構進行了介紹。對其基本職能、內部結構、處理的事件進行了梳理。後續文章中將會對每個部分深入原始碼進行更深入討論。
參考文章：
《Hadoop 技術內幕 - 深入解析 Yarn 結構設計與實現原理》第五章