Hadoop生態圖譜

nosqlfan發表於2013-02-26

  當下Hadoop已經成長為一個龐大的體系,貌似只要和海量資料相關的,沒有哪個領域缺少Hadoop的身影,下面是一個Hadoop生態系統的圖譜,詳細的列舉了在Hadoop這個生態系統中出現的各種資料工具。

  1. 這一切,都起源自Web資料爆炸時代的來臨
  2. 資料抓取系統 - Nutch
  3. 海量資料怎麼存,當然是用分散式檔案系統 - HDFS
  4. 資料怎麼用呢,分析,處理
  5. MapReduce框架,讓你編寫程式碼來實現對大資料的分析工作
  6. 非結構化資料(日誌)收集處理 - fuse,webdav, chukwa, flume, Scribe
  7. 資料匯入到HDFS中,至此RDBSM也可以加入HDFS的狂歡了 - Hiho, sqoop
  8. MapReduce太麻煩,好吧,讓你用熟悉的方式來操作Hadoop裡的資料 – Pig, Hive, Jaql
  9. 讓你的資料可見 - drilldown, Intellicus
  10. 用高階語言管理你的任務流 – oozie, Cascading
  11. Hadoop當然也有自己的監控管理工具 – Hue, karmasphere, eclipse plugin, cacti, ganglia
  12. 資料序列化處理與任務排程 – Avro, Zookeeper
  13. 更多構建在Hadoop上層的服務 – Mahout, Elastic map Reduce
  14. OLTP儲存系統 – Hbase

相關文章