- **MapReduce**
 MapReduce是什麼？
1、 MapReduce是一種分散式計算框架 ；
2、MR有兩個階段組成：Map和Reduce，使用者只需實現map()和reduce()兩個函式，即可實現分散式計算；
3、Map()負責把一個大的block塊進行切片並計算；
4、Reduce() 負責把Map()切片的資料進行彙總、計算。
MapReduce怎麼做？
1、對輸入的資料進行切片，每個切片分配一個map()任務，map()對其中的資料進行計算，然後輸出到環形緩衝區；
2、資料在環形緩衝區內進行快排，每個環形緩衝區預設大小100M，當資料達到80M時（預設），把資料輸出到磁碟上，形成很多個內部有序整體無序的小檔案。
3、框架把磁碟中的小檔案傳到Reduce()中來，然後進行歸併排序，最終輸出。

- **HDFS**
NameNode（nn）：
Master，它是一個主管、管理者。
（1）管理HDFS的名稱空間；
（2）配置副本策略；
（3）管理資料塊（Block）對映資訊；
（4）處理客戶端讀寫請求。
DataNode：
Slave，執行實際的操作。
（1）儲存實際的資料塊；
（2）執行資料塊的讀/寫操作。
Client：
客戶端
（1）檔案切分。檔案上傳HDFS的時候，Client將檔案切分成一個一個的Block；
（2）與NameNode互動，獲取檔案的位置資訊；
（3）與DataNode互動，讀取或者寫入資料；
（4）Client提供一些命令來管理HDFS，比如NameNode格式化；
（5）Client可以透過一些命令來訪問HDFS，比如對HDFS增刪查改操作。

- **YARN**
為什麼要使用YARN？
提升叢集資源利用，為上層應用做資源統一管理。
YARN的優勢？
叢集中所有節點的資源(記憶體、CPU、磁碟、網路等)抽象為Container。計算框架需要資源進行運算任務時需要向YARN申請Container， YARN按照特定的策略對資源進行排程進行Container的分配。
資源隔離：
 YARN使用了輕量級資源隔離機制Cgroups進行資源隔離以避免相互干擾，一旦Container使用的資源量超過事先定義的上限值，就將其殺死。
 YARN是如何工作的？
 Resource Manager：全域性資源管理器，一個叢集只有一個RM。負責和AM(Application Master)互動，資源排程、資源分配等工作；
 Application Master：應用程式的管理器，一個應用程式只有一個AM。負責任務開始時找RM要資源,任務完成時向RM登出自己，釋放資源；與NM通訊以啟動/停止任務；接收NM同步的任務進度資訊。
 Node Manager：一臺機器上的管理者，管理著本機上若干小弟Containers的生命週期、監視資源和跟蹤節點健康並定時上報給RM；接收並處理來自AM的Container啟動/停止等各種請求。
 Container：一臺機器上具體提供運算資源，將裝置上的記憶體、CPU、磁碟、網路等資源封裝在一起的抽象概念——“資源容器”，Container是一個動態資源分配單位，為了限定每個任務使用的資源量。 NM和Container是一臺裝置上的不同程式
 YARN提交一個應用程式時的執行過程：
 1、使用者向YARN提交程式，Resource Manager(資源管理器)接收到客戶端程式的執行請求；
 2、Resource Manager分配一個Container(資源)用來啟動Application Master(程式管理員)，並告知Node Manager(節點管理員)，要求它在這個Container下啟動Application Master；
 3、Application Master啟動後，向Resource Manager發起註冊請求；
 4、Application Master向Resource Manager申請資源；
 5、取得資源後，根據資源，向相關的Node Manager通訊，要求其啟動程式；
 6、Node Manager（多個）啟動MR（每個MR任務都是一個job，可以在job日誌中檢視程式執行日誌）；
 7、Node Manager不斷彙報MR狀態和進展給Application Master；
 8、當MR全部完成時，Application Master向Resource Manager彙報任務完成，並登出自己。

hadoop三大元件

相關文章