Hadoop進入2.0時代

[i=s] 本帖最後由 jieforest 於 2012-5-29 20:15 編輯

Apache Hadoop社群近日釋出了最新的Apache Hadoop 2.0 Alpha版本，這標誌著Apache Hadoop進入了一個新的分支。

Hadoop是Apache的頂級開源專案，由前雅虎開發者Doug Cutting（也是Nutch和Lucene的創始人）開發的分散式計算平臺，是一個能夠對大量資料進行分散式處理的框架。使用者可以在不瞭解分散式底層細節的情況下開發分散式程式，充分利用叢集的威力進行高速運算和儲存。

該版本提供了一些新的、重要的功能，包括：

1）HDFS HA，當前只能實現人工切換。

http://www.cloudera.com/blog/2009/07/hadoop-ha-configuration/

2）YARN，下一代MapReduce這是一套資源統一管理和排程平臺，可管理各種計算框架，包括MapReduce、Spark、MPI等。

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html

3）HDFS Federation，允許HDFS中存在多個NameNode，且每個NameNode分管一部分目錄，而DataNode不變，進而縮小了故障帶來的影響範圍，並起到一定的隔離作用。

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/Federation.html

4）基準效能測試

5）通過protobufs來提供HDFS和YARN的相容性

除了以上這些功能外，還有一些來自社群的改進，包括HDFS快照和HA NameNode自動切換等。

需要注意的是，該版本還處於Alpha階段，部分功能還在部署中，不可用於實際生產。

文件：http://hadoop.apache.org/common/docs/r2.0.0-alpha/

下載地址：http://hadoop.apache.org/common/releases.html

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/301743/viewspace-731439/，如需轉載，請註明出處，否則將追究法律責任。