有Hive之後,為何還要學mapreduce

一塵在心發表於2018-08-20

hive本身只是在mr上封裝,應用場景自然更侷限,不可能滿足所有需求

有些場景是不能用hive來實現,就需要mr來實現。

結構複雜的日誌檔案,首先要經過ETL處理(使用mapreduce),得到的資料再有hive處理比較合適。直接讓hive處理結構複雜的資料估計很難處理。

業務比較複雜的,還是必須寫mapreduce才能實現。

Hive目前底層還是用MapReduce,以後可能會用Spark,Tez。Hive差不多是一個查詢介面,你的SQL語句還是會翻譯成MapReduce任務的,你用explain就可以看到這些任務的執行計劃。

hive+transform約等於mr。

 

 

相關文章