hadoop備記

edagarli發表於2014-05-20
Hadoop
Hadoop 的優勢
Hadoop 是 一 個 能 夠 讓 用 戶 輕 鬆 架 構 和 使 用 的 分 布 式 計 算 平 臺。 用 戶 可 以 輕 鬆 地 在Hadoop 上開發執行處理海量資料的應用程式。它主要有以下幾個優點:
1.高可靠性。Hadoop 按位儲存和處理資料的能力值得人們信賴。
2.高擴充套件性。Hadoop 是在可用的計算機集簇間分配資料完成計算任務的, 這些集簇可以方便地擴充套件到數以千計的節點中。
3.高效性。Hadoop 能夠在節點之間動態地移動資料, 以保證各個節點的動態平衡, 因此其處理速度非常快。

4.高容錯性。Hadoop 能夠自動儲存資料的多份副本, 並且能夠自動將失敗的任務重新分配。


現在的話Hadoop已經包含很多專案。不過核心內容是MapReduce和Hadoop分散式檔案系統。這裡spark的話實時性效能方面比hadoop高很多。這裡我不多說什麼。（http://www.zdnet.com/faster-more-capable-what-apache-spark-brings-to-hadoop-7000026149/可以看看spark與hadoop比較）


與Hadoop相關的Common,Avro,Chukwa,Hive,HBase等專案也是不可或缺的。它們提供了互補性服務或在核心層上提供了更高層的服務。



相關文章