hadoop包含哪些技術?

Ruthless發表於2013-06-21

1、Hadoop包含哪些技術?
Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie。

2、簡介
Common:在0.20及以前的版本中,包含HDFS、MapReduce和其他專案公共內容,從0.21開始HDFS和MapReduce被分離為獨立的子專案,其餘內容為Hadoop Common。
Avro:新的資料序列化格式與傳輸工具,將逐步取代Hadoop原有的IPC機制。
MapReduce:平行計算框架,0.20前使用org.apache.hadoop.mapred舊介面,0.20版本開始引入org.apache.hadoop.mapreduce的新API。
HDFS:Hadoop分散式檔案系統(Hadoop Distributed File System)。
Pig:大資料分析平臺,為使用者提供多種介面。
Hive:資料倉儲工具,由Facebook貢獻。
Hbase:類似Google BigTable的分散式NoSQL列資料庫。(HBase和Avro已經於2010年5月成為頂級Apache專案)。
ZooKeeper:分散式鎖設施,提供類似Google Chubby的功能,由Facebook貢獻。
Sqoop:Sqoop是一個用來將Hadoop和關係型資料庫中的資料相互轉移的工具,可以將一個關係型資料庫(例如 :MySQL, Oracle, Postgres等)中的資料匯入到Hadoop的HDFS中,也可以將HDFS的資料匯入到關係型資料庫中。
Oozie:負責MapReduce作業排程。

 

相關文章