大資料入門學習之Hadoop技術優缺點

大資料入門學習之Hadoop技術優缺點

(1)Hadoop具有按位儲存和處理資料能力的高可靠性。

(2)Hadoop透過可用的計算機叢集分配資料，完成儲存和計算任務，這些叢集可以方便地擴充套件到數以千計的節點中，具有高擴充套件性。

(3)Hadoop能夠在節點之間進行動態地移動資料，並保證各個節點的動態平衡，處理速度非常快，具有高效性。

(4)Hadoop能夠自動儲存資料的多個副本，並且能夠自動將失敗的任務重新分配，具有高容錯性。

.在入門學大資料的過程當中有遇見學習，行業，缺乏系統學習路線，系統學習規劃，歡迎你加入我的大資料學習交流裙：529867072 ，裙檔案有我這幾年整理的大資料學習手冊，開發工具，PDF文件書籍，你可以自行下載。

Hadoop的缺點

(1)Hadoop不適用於低延遲資料訪問。

(2)Hadoop不能高效儲存大量小檔案。

(3)Hadoop不支援多使用者寫入並任意修改檔案。

Hadoop的核心元件

Hadoop自誕生以來，主要出現了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。

HDFS和MapReduce是Hadoop1的核心元件，Hadoop生態圈裡的很多元件都是基於HDFS和MapReduce發展出來的。在繼Hadoop1之後出現了Hadoop2，Hadoop2在Hadoop1的基礎上做了改進。相比Hadoop1，Hadoop2的三大核心元件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2，本書使用的是Hadoop2.7.3這一版本。

Hadoop2的一個公共模組和三大核心元件組成了四個模組，簡介如下。

(1)HadoopCommon：為其他Hadoop模組提供基礎設施。

(2)HDFS：具有高可靠性、高吞吐量的分散式檔案系統。

(3)MapReduce：基於Yarn系統，分散式離線平行計算框架。

(4)Yarn：負責作業排程與叢集資源管理的框架。