Flume採集資料時在HDFS上產生大量小檔案的問題

13545163656發表於2018-07-31

呼叫agent 配置檔案的：


#Describe the sink  新增： 

a1.sinks.k1.hdfs.rollSize=0

a1.sinks.k1.hdfs.rollCount=0
rollSize
預設值：1024，當臨時檔案達到該大小（單位：bytes）時，滾動成目標檔案。如果設定成0，則表示不根據臨時檔案大小來滾動檔案。
rollCount
預設值：10，當events資料達到該數量時候，將臨時檔案滾動成目標檔案，如果設定成0，則表示不根據events資料來滾動檔案。


還有另一種出現大量小檔案對應的解決方案，即設定a1.sinks.k1.hdfs.minBlockReplicas=1。因為檔案會因為所在塊的複製而滾動檔案 待測試......

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31441024/viewspace-2168827/，如需轉載，請註明出處，否則將追究法律責任。

相關文章