九月二十五日

yblll發表於2024-10-28

在Hadoop生態系統中,有以下幾個重要的角色:

  1. NameNode(NN):NameNode是Hadoop分散式檔案系統(HDFS)的主節點,負責管理檔案系統的後設資料。它維護檔案和目錄的層次結構、許可權、塊的位置等資訊,並處理客戶端的檔案系統請求。

  2. DataNode(DN):DataNode是HDFS的資料節點,負責儲存和管理實際的檔案資料塊。DataNode將資料塊儲存在本地磁碟上,並響應NameNode的塊分配和複製策略。

  3. ResourceManager(RM):ResourceManager是Hadoop的資源管理器,負責叢集資源的排程和分配。它接收來自應用程式(透過ApplicationMaster)的資源請求,並管理叢集中的NodeManager,將任務分配給可用的計算資源。

  4. NodeManager(NM):NodeManager是每個工作節點上的資源管理器,負責接收ResourceManager的命令並管理本地計算節點上的資源。它監控計算節點的使用情況,並啟動、監控和報告應用程式的執行情況。

  5. Secondary NameNode(SNN):Secondary NameNode是NameNode的備份節點,定期從NameNode獲取檔案系統的快照(FsImage和EditLog),並生成新的FsImage檔案,以減少NameNode故障時的恢復時間。

相關文章