徹底解決Hive小檔案問題

大資料技術派發表於2021-09-20
Hive

最近發現離線任務對一個增量Hive表的查詢越來越慢，這引起了我的注意，我在cmd視窗手動執行count操作查詢發現，速度確實很慢，才不到五千萬的資料，居然需要300s，這顯然是有問題的，我推測可能是有小檔案。

我去hdfs目錄檢視了一下該目錄：

發現確實有很多小檔案，有480個小檔案，我覺得我找到了問題所在，那麼合併一下小檔案吧：

insert into test select * from table distribute by floor (rand()*5);

這裡使用distribute by進行了一個小檔案的合併，通過rand() * 5，保證了從map端輸出的資料，最多到5個reducer，將小檔案數量控制了下來，現在只有3個檔案了。

合併小檔案後，再次做同樣的查詢，15s就完成了。確實忽略了，增量資料會導致小檔案，應該在當初做的時候就做定時的小檔案合併，而不是等到現在才發現。

因為這個表每天是有增量資料進去的，增量資料會單獨生成一個檔案，因為增量資料本身不大，日積月累就形成了大量小檔案。不僅對namenode的記憶體造成壓力，對map端的小檔案合併也有很大壓力。

小檔案產生的原因

  • 動態分割槽插入資料的時候，會產生大量的小檔案；

  • 資料來源本身就包含有大量的小檔案；

  • 做增量匯入，比如Sqoop資料匯入，一些增量insert等；

  • 分桶表，分桶表通常也會遇到小檔案，本質上還是增量匯入的問題；

  • 可以修改的表，這種Hive表是可以進行修改的，通過配置stored as orc TBLPROPERTIES ("transactional"="true")，這種表最坑，每天都會有一個快照，到後面10G大小的資料，表檔案體積可以達到600G，時間越長越大；

小檔案的問題有很多，實際中各種原因，由於自己的不小心，前期沒有做好預防都會產生大量小檔案，讓線上的離線任務神不知鬼不覺，越跑越慢。

小檔案的危害

  1. 給namenode記憶體中fsImage的合併造成壓力，如果namenode記憶體使用完了，這個叢集將不能再儲存檔案了；
  2. 雖然map階段都設定了小檔案合併，org.apache.hadoop.hive.ql.io.CombineHiveInputFormat，太多小檔案導致合併時間較長，查詢緩慢；

小檔案的解決方案

徹底解決小檔案，分為了兩個方向，一個是小檔案的預防，一個是大量小檔案問題已經出現了，我們該怎麼解決。

1. 小檔案的預防

網上有些解決方案，是調節引數，這些引數在我使用的Hive2是預設都開啟了的：

//每個Map最大輸入大小(這個值決定了合併後檔案的數量)
set mapred.max.split.size=256000000;  
//一個節點上split的至少的大小(這個值決定了多個DataNode上的檔案是否需要合併)
set mapred.min.split.size.per.node=100000000;
//一個交換機下split的至少的大小(這個值決定了多個交換機上的檔案是否需要合併)  
set mapred.min.split.size.per.rack=100000000;
//執行Map前進行小檔案合併
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; 
//設定map端輸出進行合併，預設為true
set hive.merge.mapfiles = true
//設定reduce端輸出進行合併，預設為false
set hive.merge.mapredfiles = true
//設定合併檔案的大小
set hive.merge.size.per.task = 256*1000*1000
//當輸出檔案的平均大小小於該值時，啟動一個獨立的MapReduce任務進行檔案merge。
set hive.merge.smallfiles.avgsize=16000000

有些公司用的版本不同，低版本可能有些配置不一樣，最好檢查一下上面這些配置是否設定，然後根據自己的實際叢集情況進行設定。

小檔案的預防，主要還是要根據小檔案的產生原因，來進行預防。

  1. 動態分割槽插入的時候，保證有靜態分割槽，不要誤判導致產生大量分割槽，大量分割槽加起來，自然就有大量小檔案；
  2. 如果源表是有大量小檔案的，在匯入資料到目標表的時候，如果只是insert into dis select * from origin的話，目標表通常也有很多小檔案。如果有分割槽，比如dt, hour，可以使用distribute by dt, hour，保證每個小時的資料在一個reduce裡面；
  3. 類似sqoop增量匯入，還有hive一些表的查詢增量匯入，這些肯定是有小檔案的，需要進行一週甚至一天定時任務的小檔案合併。

2. 小檔案的解決

上面是平時開發資料任務時候，小檔案的預防，但如果由於我們的大意，小檔案問題已經產生了，就需要解決了。通常就是insert overwrite了。

insert overwrite table test [partition(hour=...)] select * from test distribute by floor (rand()*5);

注：這個語句把test表的資料查詢出來，overwrite覆蓋test表，不用擔心如果overwrite失敗，資料沒了，這裡面是有事物性保證的，可以觀察一下執行的時候，在test表hdfs檔案目錄下面有個臨時資料夾。如果是分割槽表，加上partition，表示對該分割槽進行overwrite。

如果是orc格式儲存的表，還可以使用alter table test [partition(...)] concatenate進行小檔案的合併，不過這種方法僅僅適用於orc格式儲存的表。

猜你喜歡

Hadoop3資料容錯技術（糾刪碼）
Hadoop 資料遷移用法詳解
Flink實時計算topN熱榜
數倉建模分層理論
一文搞懂Hive的資料儲存與壓縮
大資料元件重點學習這幾個

相關文章