Hadoop 版本演進

Hadoop版本演進概況：


備註：NameNode HA ： NameNode高可用 ， HDFS Fedreation 分散式檔案系統聯盟 解決了1帶的單點問題

         Yarm 分散式資源管理系統，解決JobTrack單點問題
        


1. hadoop 1.x 版本的生態系統：


2. hadoop 2.x版本的生態系統：



對於分散式系統和框架的架構來說，一般分為兩部分：

第一部分：管理層（用於管理應用層）
第二部分：應用層 （工作的）


對於HDFS，分散式檔案系統：

    NameNode:    屬於管理層，用於管理資料的儲存
    
    SecondNameNode：也屬於管理層，用於輔助管理資料的儲存

    DateNode：屬於 應用層 ，使用者進行資料儲存，被NameNode管理，定時向NameNode進行工作彙報，執行NameNode分配分發的任務


對於MapReduce，分散式計算框架：

    JobTrack ： 屬於管理層，用於管理叢集的資源，對叢集的任務資源進行排程，並監控任務的執行。

    TaskTrack： 屬於應用層，用於執行JobTrack分配分發的任務，並向JobTrack彙報執行情況。


對於hadoop 二代版本的yarm系統：
    NodeManager ：屬於管理層，節點管理
    
    ResourceManager：屬於管理層， 資源管理

    DataNode：屬於應用層，被NodeManager  和 ResourceManager管理，執行任務。