Hive高階優化

突突修發表於2018-03-13

併發執行

1240

job1: a join b aa


job2: c join d cc
job3: aa join cc
說明:job1和job2可以並行執行。

JVM重用

它是對map/reduce 執行的任務,一個jvm可以執行多個map 任務。小資料可以使用jvm重用。效能可以提升70%

1240

Reduce的資料

預設reduce的任務是一個,可以根據自己的業務進行手動調整,不斷測試把它調節到一個合適的值。

1240

推測執行

說明:MapReduce調優,預設啟用的,最後把它關閉掉,這隻為false。
場景:執行reduce時,有的慢,有的快,applicationMaster在另外一個機器上啟動一個一模一樣的reduce,那個先完成用那個。

1240

Map資料

說明:依照塊的大小來

image.png


相關文章