Hadoop的架構模型

qq_21853321發表於2020-10-06

Hadoop的架構模型(1.x,2.x的各種架構模型介紹)

1.x的版本架構模型介紹

在這裡插入圖片描述
檔案系統核心模組:

NameNode:叢集當中的主節點,主要用於管理叢集當中的各種資料
secondaryNameNode:主要能用於Hadoop當中後設資料資訊的輔助管理
DataNode:叢集當中的從節點,主要用於儲存叢集當中的各種資料

資料計算核心模組:

JobTracker:接收使用者的計算請求任務,並分配任務給從節點
TaskTracker:負責執行主節點JobTracker分配的任務

2.x的版本架構模型介紹

第一種:NameNode與ResourceManager單節點架構模型

在這裡插入圖片描述
檔案系統核心模組:

NameNode:叢集當中的主節點,主要用於管理叢集當中的各種後設資料
secondaryNameNode:主要能用於Hadoop當中後設資料資訊的輔助管理
DataNode:叢集當中的從節點,主要用於儲存叢集當中的各種資料

資料計算核心模組:

ResourceManager:接收使用者的計算請求任務,並負責叢集的資源分配
NodeManager:負責執行主節點APPmaster分配的任務

=====================================================================
第二種:NameNode單節點與ResourceManager高可用架構模型
在這裡插入圖片描述
檔案系統核心模組:

NameNode:叢集當中的主節點,主要用於管理叢集當中的各種資料
secondaryNameNode:主要能用於Hadoop當中後設資料資訊的輔助管理
DataNode:叢集當中的從節點,主要用於儲存叢集當中的各種資料

資料計算核心模組:

ResourceManager:接收使用者的計算請求任務,並負責叢集的資源分配,以及計算任務的劃分,通過zookeeper實現ResourceManager的高可用
NodeManager:負責執行主節點ResourceManager分配的任務

=====================================================================
第三種:NameNode高可用與ResourceManager單節點架構模型
在這裡插入圖片描述
檔案系統核心模組:

NameNode:叢集當中的主節點,主要用於管理叢集當中的各種資料,其中nameNode可以有兩個,形成高可用狀態
DataNode:叢集當中的從節點,主要用於儲存叢集當中的各種資料
JournalNode:檔案系統後設資料資訊管理

資料計算核心模組:

ResourceManager:接收使用者的計算請求任務,並負責叢集的資源分配,以及計算任務的劃分
NodeManager:負責執行主節點ResourceManager分配的任務

=====================================================================

第四種:NameNode與ResourceManager高可用架構模型

在這裡插入圖片描述
檔案系統核心模組:

NameNode:叢集當中的主節點,主要用於管理叢集當中的各種資料,一般都是使用兩個,實現HA高可用
JournalNode:後設資料資訊管理程式,一般都是奇數個
DataNode:從節點,用於資料的儲存

資料計算核心模組:

ResourceManager:Yarn平臺的主節點,主要用於接收各種任務,通過兩個,構建成高可用
NodeManager:Yarn平臺的從節點,主要用於處理ResourceManager分配的任務

相關文章