好程式設計師大資料入門學習之Hadoop技術優缺點

　　 好程式設計師 大資料入門學習之 Hadoop 技術優缺點

 

　　(1)Hadoop 具有按位儲存和處理資料能力的高可靠性。

　　(2)Hadoop 透過可用的計算機叢集分配資料，完成儲存和計算任務，這些叢集可以方便地擴充套件到數以千計的節點中，具有高擴充套件性。

　　(3)Hadoop 能夠在節點之間進行動態地移動資料，並保證各個節點的動態平衡，處理速度非常快，具有高效性。

　　(4)Hadoop 能夠自動儲存資料的多個副本，並且能夠自動將失敗的任務重新分配，具有高容錯性。

 

　　Hadoop 的缺點

　　(1)Hadoop 不適用於低延遲資料訪問。

　　(2)Hadoop 不能高效儲存大量小檔案。

　　(3)Hadoop 不支援多使用者寫入並任意修改檔案。

 

　　Hadoop 的核心元件

　　Hadoop 自誕生以來，主要出現了 Hadoop1 、 Hadoop2 、 Hadoop3 三個系列多個版本。

　　HDFS 和 MapReduce 是 Hadoop1 的核心元件， Hadoop 生態圈裡的很多元件都是基於 HDFS 和 MapReduce 發展出來的。在繼 Hadoop1 之後出現了 Hadoop2 ， Hadoop2 在 Hadoop1 的基礎上做了改進。相比 Hadoop1 ， Hadoop2 的三大核心元件分別是 HDFS 、 MapReduce 、 Yarn 。目前市面上絕大部分企業使用的是 Hadoop2 ，本書使用的是 Hadoop2.7.3 這一版本。

 

　　Hadoop2 的一個公共模組和三大核心元件組成了四個模組，簡介如下。

　　(1)HadoopCommon ：為其他 Hadoop 模組提供基礎設施。

　　(2)HDFS ：具有高可靠性、高吞吐量的分散式檔案系統。

　　(3)MapReduce ：基於 Yarn 系統，分散式離線平行計算框架。

　　(4)Yarn ：負責作業排程與叢集資源管理的框架。

 

　　 好程式設計師 大資料培訓的終極目標是將你培養成一名 “複合型”研發人才，讓你自己在掌握相關大資料技術的同時，也能夠贏得一份高薪職位 ! 好程式設計師 大資料開發採用 “ T ”字形的思維，以大資料的深度為主，以機器學習、雲端計算等作為寬度，相輔相成。此外 好程式設計師 大資料課程定期組織與一線名企的工程師進行面對面的就企業當下的專案討論與研發，進而驗證所學技術的正確方向。