Hadoop 工具的認識

leniz發表於2018-05-18
2018-5-18【來源網路】

在眾多大資料框架中,Impala定位類似Hive,不過Impala更關注即席查詢SQL的快速解析,對於執行時間過長的SQL,仍舊是Hive更合適。對於GroupBy等SQL查詢,Impala進行的是記憶體計算,因而Impala對機器配置要求較高,官方建議記憶體128G以上,此類問題Hive底層對應的是傳統的MapReduce計算框架,雖然執行效率低,但是穩定性好,對機器配置要求也低。

執行效率是Impala的最大優勢,對於儲存在HDFS中的資料,Impala的解析速度本來就遠快於Hive,有了Kudu加成之後,更是如虎添翼,部分查詢執行速度差別可達百倍。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/554557/viewspace-2154685/,如需轉載,請註明出處,否則將追究法律責任。