使用Hadoop+Hbase+Hive+SpringBatch實現資料倉儲

banq發表於2012-11-19
HadoopHiveSpringBAT
使用Hadoop+Hbase+Hive+SpringBatch實現資料倉儲(Datawarehouse implementation using Hadoop+Hbase+Hive+SpringBatch – Part 1 | Spring under the hood)

Spring Batch是Spring用於批處理工作流的框架。

假設一個網站有很大訪問量，建立一個分析使用者訪問時間的分析應用，架構圖如下：
訪問日誌如下：
192.168.45.129 07:45
192.168.45.126 07:46
192.168.45.127 07:48
192.168.45.129 07:49

Spring batch透過一個命令列執行，將日誌讀取然後將其中IP地址寫入hbase
另外一個Java命令將使用Hive從hbase中讀取資料，並顯示出來：


[該貼被banq於2012-11-22 08:19修改過]

相關文章