好程式設計師大資料培訓分享Hadoop技術優缺點

　　 好程式設計師大資料培訓分享 Hadoop 技術優缺點 ，目前我們正被資料包圍，全球43 億部電話、 20 億位網際網路使用者每秒都在不斷地產生大量資料，人們傳送簡訊給朋友、上傳影片、用手機拍照、更新社交網站的資訊、轉發微博、點選廣告等，使得機器產生和保留了越來越多的資料。資料的指數級增長對處於市場領導地位的網際網路公司，它們需要對 TB 級別和 PB 級別的資料進行分析處理，以發現哪些網站更受歡迎，哪些商品更具有吸引力，哪些廣告更吸引使用者。傳統的工具對於處理如此規模的資料集越來越無能為力。

　　 現在，Hadoop 應運而生，龐大的資訊流有了新的處理平臺。今天給大家分享的大資料培訓課程是： Hadoop 技術的優缺點。

　　 1 、 Hadoop 的優點

　　 (1)Hadoop 具有按位儲存和處理資料能力的高可靠性。

　　 (2)Hadoop 透過可用的計算機叢集分配資料，完成儲存和計算任務，這些叢集可以方便地擴充套件到數以千計的節點中，具有高擴充套件性。

　　 (3)Hadoop 能夠在節點之間進行動態地移動資料，並保證各個節點的動態平衡，處理速度非常快，具有高效性。

　　 (4)Hadoop 能夠自動儲存資料的多個副本，並且能夠自動將失敗的任務重新分配，具有高容錯性。

　　 2 、 Hadoop 的缺點

　　 (1)Hadoop 不適用於低延遲資料訪問。

　　 (2)Hadoop 不能高效儲存大量小檔案。

　　 (3)Hadoop 不支援多使用者寫入並任意修改檔案。

　　 Hadoop 的核心元件

　　 3 、 Hadoop 版本簡介：

　　 Hadoop 自誕生以來，主要出現了 Hadoop1 、 Hadoop2 、 Hadoop3 三個系列多個版本。

　　 HDFS 和 MapReduce 是 Hadoop1 的核心元件， Hadoop 生態圈裡的很多元件都是基於 HDFS 和 MapReduce 發展出來的。在繼 Hadoop1 之後出現了 Hadoop2 ， Hadoop2 在 Hadoop1 的基礎上做了改進。相比 Hadoop1 ， Hadoop2 的三大核心元件分別是 HDFS 、 MapReduce 、 Yarn 。目前市面上絕大部分企業使用的是 Hadoop2 。

　　 Hadoop2 的一個公共模組和三大核心元件組成了四個模組，簡介如下：

　　 (1)HadoopCommon ：為其他 Hadoop 模組提供基礎設施。

　　 (2)HDFS ：具有高可靠性、高吞吐量的分散式檔案系統。

　　 (3)MapReduce ：基於 Yarn 系統，分散式離線平行計算框架。

　　 (4)Yarn ：負責作業排程與叢集資源管理的框架。

　　 Hadoop 技術儼然成為大資料的關鍵點，也是大資料開發課程的重中之重。