官宣！AWS Athena正式可查詢Apache Hudi資料集

leesf發表於2020-07-27
Apache

1. 引入

Apache Hudi是一個開源的增量資料處理框架，提供了行級insert、update、upsert、delete的細粒度處理能力（Upsert表示如果資料集中存在記錄就更新；否則插入）。

Hudi處理資料插入和更新，不會建立太多的小檔案(小檔案會導致查詢端效能降低)，Apache Hudi自動管理及合併小檔案，讓其保持指定大小，這避免了自建解決方案來監控和重寫小檔案為大檔案。

Hudi資料集在如下場景下非常適用

  • 使用GDPR和CCPA法規來刪除使用者個人資訊或修改個人資訊用途。
  • 處理感測器或IoT裝置的流式資料，涉及資料插入和更新。
  • 實現CDC系統

Hudi使用開放的資料格式管理S3的資料集。現在Athena可以查詢Hudi資料集，但暫還不支援寫入，Athena使用Apache Hudi 0.5.2-incubating版本，0.5.2-incubating版本資訊可參考這裡

2. Hudi資料集型別

Hudi資料集有如下型別

  • Copy on Write (CoW) – 使用Parquet列式儲存，每次更新將會建立一個新版本。
  • Merge on Read (MoR) – 使用Parquet列式 + Avro行式儲存，更新將會寫入delta日誌檔案，後面將會和Parquet列式檔案進行壓縮生成新版本列式檔案。

對於CoW資料集，對記錄更新時，包含記錄的檔案將會被重寫；對於MoR資料集，對記錄更新時，Hudi僅僅只會寫更新的值。因此MoR更適合重寫的場景，CoW更適合重讀場景（資料很少變更）。

Hudi提供了三種邏輯檢視來訪問資料：

  • Read-optimized 檢視 – 提供CoW表最新提交的資料集和MoR表最新壓縮的資料集，均讀取Parquet檔案。
  • Incremental 檢視 – 提供CoW表中兩次提交的變更流，便於下游ETL作業。
  • Real-time 檢視 – 提供MoR表最新提交的資料，在查詢時合併列式和行式檔案。

現在Athena只支援Read-optimized檢視，這提供了更好的查詢效能但未包含最新的delta提交。關於資料集型別做的tradeoff，可以參考Hudi文件Storage Types & Views 。

3. 考慮及限制

  • Athena對Hudi資料集僅支援查詢Read-optimized檢視
    • 對於CoW型別，Athena支援快照查詢；
    • 對於MoR型別，Athena支援讀優化查詢；
  • Athena對Hudi資料集不支援CTAS 或 INSERT INTO，更多關於如何寫入Hudi資料集，可參考
  • Athena對Hudi表不支援使用MSCK REPAIR TABLE。如果需要載入非Glue建立的Hudi表，請使用ALTER TABLE ADD PARTITION

4. 建立Hudi表

本部分將提供Athena中建立分割槽和非分割槽Hudi表的建表示例。

如果已經在AWS Glue中建立了Hudi表，那麼可以直接使用Athena查詢。如果在Athena中建立Hudi表，在查詢之前必須執行ALTER TABLE ADD PARTITION 來載入資料。

4.1 Copy on Write (CoW)建表示例

4.1.1 非分割槽CoW表

下面示例會在Athena中建立非分割槽CoW表

CREATE EXTERNAL TABLE `non_partition_cow`(
  `_hoodie_commit_time` string,
  `_hoodie_commit_seqno` string,
  `_hoodie_record_key` string,
  `_hoodie_partition_path` string,
  `_hoodie_file_name` string,
  `event_id` string,
  `event_time` string,
  `event_name` string,
  `event_guests` int,
  `event_type` string)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
  'org.apache.hudi.hadoop.HoodieParquetInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  's3://bucket/folder/non_partition_cow'

4.1.2 分割槽CoW表

下面示例會在Athena中建立分割槽CoW表

CREATE EXTERNAL TABLE `partition_cow`(
  `_hoodie_commit_time` string, 
  `_hoodie_commit_seqno` string, 
  `_hoodie_record_key` string, 
  `_hoodie_partition_path` string, 
  `_hoodie_file_name` string, 
  `event_id` string, 
  `event_time` string, 
  `event_name` string, 
  `event_guests` int)
PARTITIONED BY ( 
  `event_type` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hudi.hadoop.HoodieParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  's3://bucket/folder/partition_cow'

下面ALTER TABLE ADD PARTITION示例會新增兩個分割槽到partition_cow 表

ALTER TABLE partition_cow ADD
  PARTITION (event_type = 'one') LOCATION 's3://bucket/folder/partition_cow/one/'
  PARTITION (event_type = 'two') LOCATION 's3://bucket/folder/partition_cow/two/'

4.2 Merge on Read (MoR)建表示例

Hudi對於MoR型別將會在Hive Metastore中建立兩張表：一張由你指定的表，可提供Read-optimized檢視，另一張以_rt結尾的表，可提供Real-time檢視。然而當你在Athena建立MoR表時，也只能查詢read-optimized檢視（real-time檢視支援社群正在進行程式碼Review，不久後可用）。

4.2.1 非分割槽MoR表

下面示例會在Athena中建立非分割槽MoR表

CREATE EXTERNAL TABLE `nonpartition_mor_ro`(
  `_hoodie_commit_time` string, 
  `_hoodie_commit_seqno` string, 
  `_hoodie_record_key` string, 
  `_hoodie_partition_path` string, 
  `_hoodie_file_name` string, 
  `event_id` string, 
  `event_time` string, 
  `event_name` string, 
  `event_guests` int, 
  `event_type` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hudi.hadoop.HoodieParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  's3://bucket/folder/nonpartition_mor'

4.2.2 分割槽MoR表

下面示例會在Athena中建立分割槽MoR表

CREATE EXTERNAL TABLE `partition_mor_ro`(
  `_hoodie_commit_time` string, 
  `_hoodie_commit_seqno` string, 
  `_hoodie_record_key` string, 
  `_hoodie_partition_path` string, 
  `_hoodie_file_name` string, 
  `event_id` string, 
  `event_time` string, 
  `event_name` string, 
  `event_guests` int)
PARTITIONED BY ( 
  `event_type` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hudi.hadoop.HoodieParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  's3://bucket/folder/partition_mor'

下面ALTER TABLE ADD PARTITION示例會新增兩個分割槽到partition_mor_ro表

ALTER TABLE partition_cow ADD
  PARTITION (event_type = 'one') LOCATION 's3://bucket/folder/partition_mor/one/'
  PARTITION (event_type = 'two') LOCATION 's3://bucket/folder/partition_mor/two/'

相關文章