hive從入門到放棄(六)——常用檔案儲存格式

大資料的奇妙冒險發表於2022-05-19

hive 儲存格式有很多,但常用的一般是 TextFile、ORC、Parquet 格式,在我們單位最多的也是這三種

hive 預設的檔案儲存格式是 TextFile。

除 TextFile 外的其他格式的表不能直接從本地檔案匯入資料,要先匯入到 TextFile 格式的表中,再從表中用 insert 匯入到其他格式的表中。

一、TextFile

TextFile 是行式儲存。

建表時無需指定,一般預設這種格式,以這種格式儲存的檔案,可以直接在 HDFS 上 cat 檢視資料。

可以用任意分隔符對列分割,建表時需要指定分隔符。

不會對檔案進行壓縮,因此載入資料的時候會比較快,因為不需要解壓縮;但也因此更佔用儲存空間。

二、ORCFile

ORCFile 是列式儲存。

建表時需指定 STORED AS ORC,檔案儲存方式為二進位制檔案。

Orc表支援None、Zlib、Snappy壓縮,預設支援Zlib壓縮。

Zlib 壓縮率比 Snappy 高,Snappy 效率比 Zlib 高。

這幾種壓縮方式都不支援檔案分割,所以壓縮後的檔案在執行 Map 操作時只會被一個任務所讀取。

因此若壓縮檔案較大,處理該檔案的時間比處理其它普通檔案的時間要長,造成資料傾斜。

另外,hive 建事務表需要指定為 orc 儲存格式。

ORC 格式如下所示:

  • stripe:儲存資料的地方,包括實際資料、資料的索引資訊
  • index data:儲存了資料在 stripe 中位置的索引資訊
  • rows data:資料實際儲存的地方,資料以流的形式進行儲存
  • stripe footer:儲存資料所在的檔案目錄
  • file footer:包含了檔案中 stripe 的列表,每個 stripe 的行數,以及每個列的資料型別。它還包含每個列的最小值、最大值、行計數、求和等聚合資訊。
  • postscript:含有壓縮引數和壓縮大小相關的資訊

三、Parquet

Parquet 也是列式儲存。

建表時需指定 STORED AS PARQUET,檔案儲存方式為二進位制檔案。

可以使用的壓縮方式有 UNCOMPRESSED、 SNAPPY、GZP和LZO。預設值為 UNCOMPRESSED,表示頁的壓縮方式

  • 行組(Row Group):每一個行組包含一定的行數,在一個HDFS檔案中至少儲存一個行組,類似於orc的stripe的概念。

  • 列塊(Column Chunk):在一個行組中每一列儲存在一個列塊中,行組中的所有列連續的儲存在這個行組檔案中。一個列塊中的值都是相同型別的,不同的列塊可能使用不同的演算法進行壓縮。

四、三者對比

同樣的資料,TextFile 為 2.4G 的情況下,將原資料存放為 ORC 以及 Parquet 格式後,其佔用儲存大小以及查詢效率大致如下:

由此可以看出壓縮比:ORC > Parquet > TextFile

在只有 Fecth 的情況下,由於 TextFile 不需要解壓縮,因此效率較高。

對於需要 MapReduce 操作的查詢,效率:ORC >= Parquet > TextFile

當然,這只是我自己簡單的測試,有些變數並沒有控制好。

比如在單個檔案比較大的情況下,可能 Parquet 的效率會比較高。

在實際生產中,使用 Parquet 儲存 lzo 壓縮的方式比較常見,這種情況下可以避免由於讀取不可分割的大檔案引發的資料傾斜。

但是,如果資料量並不大,使用 ORC 儲存 snappy 壓縮的效率還是非常高的;對於需要事務的場景,還是用 ORC。

至於要用哪種儲存格式,需要基於自身業務進行考量。

今天的文章到這裡就結束了,如果覺得寫的不錯的話,可以隨手點個贊和關注!

關注“大資料的奇妙冒險”,轉載請註明出處!

相關文章