建立Parquet結果表

李博bluemind發表於2018-11-14

建立Parquet結果表

Parquet是一種高效能的裡儲存格式,詳情請參考Apache Parquet官網

Flink可以讀取Parquet格式資料作為輸出,如下:


  1. create table parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type=`parquet`,
  7. filePath=`oss://osspath/test.csv`
  8. );

WITH引數

引數 註釋說明 備註
filePath 檔案路徑 支援oss、hdfs的檔案系統。
enumerateNestedFiles 遞迴讀取目錄下的所有檔案 預設為true
writeMode 寫入方式 預設None
compressionCodecName 壓縮方式 預設為snappy。Parquet支援uncompressed、snappy、gzip、lzo,4種格式。

本文轉自實時計算——建立Parquet結果表


相關文章