Hadoop的架構模型

1.x的版本架構模型介紹

檔案系統核心模組：

NameNode：叢集當中的主節點，主要用於管理叢集當中的各種資料
secondaryNameNode：主要能用於Hadoop當中後設資料資訊的輔助管理
DataNode：叢集當中的從節點，主要用於儲存叢集當中的各種資料

資料計算核心模組：

JobTracker：接收使用者的計算請求任務，並分配任務給從節點
TaskTracker：負責執行主節點JobTracker分配的任務

2.x的版本架構模型介紹

第一種：NameNode與ResourceManager單節點架構模型

檔案系統核心模組：

NameNode：叢集當中的主節點，主要用於管理叢集當中的各種後設資料
secondaryNameNode：主要能用於Hadoop當中後設資料資訊的輔助管理
DataNode：叢集當中的從節點，主要用於儲存叢集當中的各種資料

資料計算核心模組：

ResourceManager：接收使用者的計算請求任務，並負責叢集的資源分配
NodeManager：負責執行主節點APPmaster分配的任務

=====================================================================
第二種：NameNode單節點與ResourceManager高可用架構模型

檔案系統核心模組：

NameNode：叢集當中的主節點，主要用於管理叢集當中的各種資料
secondaryNameNode：主要能用於Hadoop當中後設資料資訊的輔助管理
DataNode：叢集當中的從節點，主要用於儲存叢集當中的各種資料

資料計算核心模組：

ResourceManager：接收使用者的計算請求任務，並負責叢集的資源分配，以及計算任務的劃分，通過zookeeper實現ResourceManager的高可用
NodeManager：負責執行主節點ResourceManager分配的任務

=====================================================================
第三種：NameNode高可用與ResourceManager單節點架構模型

檔案系統核心模組：

NameNode：叢集當中的主節點，主要用於管理叢集當中的各種資料，其中nameNode可以有兩個，形成高可用狀態
DataNode：叢集當中的從節點，主要用於儲存叢集當中的各種資料
JournalNode：檔案系統後設資料資訊管理

資料計算核心模組：

ResourceManager：接收使用者的計算請求任務，並負責叢集的資源分配，以及計算任務的劃分
NodeManager：負責執行主節點ResourceManager分配的任務

=====================================================================

第四種：NameNode與ResourceManager高可用架構模型

檔案系統核心模組：

NameNode：叢集當中的主節點，主要用於管理叢集當中的各種資料，一般都是使用兩個，實現HA高可用
JournalNode：後設資料資訊管理程式，一般都是奇數個
DataNode：從節點，用於資料的儲存

資料計算核心模組：

ResourceManager：Yarn平臺的主節點，主要用於接收各種任務，通過兩個，構建成高可用
NodeManager：Yarn平臺的從節點，主要用於處理ResourceManager分配的任務