好程式設計師大資料獨家解析-hadoop五大節點

1.NameNode(管理節點)

    Namenode 管理著檔案系統的命令空間(Namespace)。它維護著檔案系統樹以及檔案樹中所有的檔案和資料夾的後設資料(metadata) ， 後設資料包括編輯日誌 (edits)和映象檔案。管理這些資訊的檔案有兩個，分別是Namespace 映象檔案(fsimage)和編輯日誌檔案，編輯日誌主要是記錄對hdfs進行的修改 。 映象檔案主要是記錄 hdfs的檔案樹形結構 。 這些資訊被 Cache在RAM中，當然，這兩個檔案也會被持久化儲存在本地硬碟 。 Namenode記錄著每個檔案中各個塊所在的資料節點的位置資訊，但是他並不持久化儲存這些資訊，因為這些資訊會在系統啟動時從資料節點重建。

  2. DataNode(工作節點)

     Datanode是檔案系統的工作節點，他們根據客戶端或者是namenode的排程儲存和檢索資料，並且定期向namenode傳送他們所儲存的塊(block)的列表。 沒有 namenode,檔案系統是無法使用的 。 事實上 ,如果執行namenode服務的伺服器壞掉,檔案系統上的所有檔案將會丟失 。 因為我們不知道如何根據 DataNode的塊進行重建檔案 。 所有對 NameNode進行容錯冗餘機制是非常重要的 。

　　 叢集中的從節點伺服器都執行一個 DataNode後臺程式，這個後臺程式負責把HDFS資料塊讀寫到本地的檔案系統。當需要透過客戶端讀/寫某個資料時，先由NameNode告訴客戶端去哪個DataNode進行具體的讀/寫操作，然後客戶端直接與這個DataNode伺服器上的後臺程式進行通訊，並且對相關的資料塊進行讀/寫操作。

3.secondary NameNode(相當於MySQL資料庫中主從複製的從節點)

　　 Secondary  NameNode是一個用來監控HDFS狀態的輔助後臺程式。和NameNode一樣，每個叢集都有一個Secondary  NameNode，並且部署在一個單獨的伺服器上。Secondary  NameNode不同於NameNode，它不接受或者記錄任何實時的資料變化，但是，它會與NameNode進行通訊，以便定期地儲存HDFS後設資料的快照。由於NameNode是單點的，透過Secondary  NameNode的快照功能，可以將NameNode的當機時間和資料損失降低到最小。同時，如果NameNode發生問題，Secondary  NameNode可以及時地作為備用NameNode使用。

 4.ResourceManager

     ResourceManage 即資源管理，在YARN中，ResourceManager負責叢集中所有資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源彙報資訊，並把這些資訊按照一定的策略分配給各個應用程式（實際上是ApplicationManager）。

　　 RM包括Scheduler（定時排程器）和ApplicationManager（應用管理器）Schedular負責嚮應用程式分配資源，它不做監控以及應用程式的狀態跟蹤，並且不保證會重啟應用程式本身或者硬體出錯而執行失敗的應用程式。ApplicationManager負責接受新的任務，協調並提供在ApplicationMaster容器失敗時的重啟功能.每個應用程式的AM負責項Scheduler申請資源，以及跟蹤這些資源的使用情況和資源排程的監控 。

 5.Nodemanager

　　 NM是ResourceManager在slave機器上的代理，負責容器管理，並監控它們的資源使用情況，以及向ResourceManager/Scheduler提供資源使用報告 。