好程式設計師大資料教程分享之Hadoop優缺點

好程式設計師大資料教程分享之 Hadoop優缺點， 大資料成為時代主流，開啟時代的大門， 全球 43億部電話、20億位網際網路使用者每秒都在不斷地產生大量資料，人們傳送簡訊給朋友、上傳影片、用手機拍照、更新社交網站的資訊、轉發微博、點選廣告等，使得機器產生和保留了越來越多的資料。 我們被資料所包圍，我們源源不斷地製造新的資料。資料指數級地增長，對於各大網際網路公司提出了新得挑戰！

我們 需要對 TB級別和PB級別的資料進行分析處理，以發現哪些網站更受歡迎，哪些商品更具有吸引力，哪些廣告更吸引使用者。傳統的工具對於處理如此規模的資料集越來越無能為力。 而 Hadoop的出現將彌補這一技術空白。

我們說 Hadoop應運而生， 有了它， 龐大的資訊流有了新的處理平臺。 它被我們譽為神奇的存在，幫助我們在挑戰中製造新的機遇！簡要分享 Hadoop優缺點，方便大家學習和分享！

1、Hadoop的優點

　　(1)Hadoop具有按位儲存和處理資料能力的高可靠性。

　　(2)Hadoop透過可用的計算機叢集分配資料，完成儲存和計算任務，這些叢集可以方便地擴充套件到數以千計的節點中，具有高擴充套件性。

　　(3)Hadoop能夠在節點之間進行動態地移動資料，並保證各個節點的動態平衡，處理速度非常快，具有高效性。

　　(4)Hadoop能夠自動儲存資料的多個副本，並且能夠自動將失敗的任務重新分配，具有高容錯性。

　　2、Hadoop的缺點

　　(1)Hadoop不適用於低延遲資料訪問。

　　(2)Hadoop不能高效儲存大量小檔案。

　　(3)Hadoop不支援多使用者寫入並任意修改檔案。

　　Hadoop的核心元件

　　3、Hadoop版本簡介：

　　Hadoop自誕生以來，主要出現了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。

　　HDFS和MapReduce是Hadoop1的核心元件，Hadoop生態圈裡的很多元件都是基於HDFS和MapReduce發展出來的。在繼Hadoop1之後出現了Hadoop2，Hadoop2在Hadoop1的基礎上做了改進。相比Hadoop1，Hadoop2的三大核心元件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2。

　　Hadoop2的一個公共模組和三大核心元件組成了四個模組，簡介如下：

　　(1)Hadoop Common：為其他Hadoop模組提供基礎設施。

　　(2)HDFS：具有高可靠性、高吞吐量的分散式檔案系統。

　　(3)MapReduce：基於Yarn系統，分散式離線平行計算框架。

　　(4)Yarn：負責作業排程與叢集資源管理的框架。