親愛的社群小夥伴們，我們很高興地宣佈，**Apache Doris 於 2023 年 2 月 15 日迎來 1.2.2 Release 版本的正式釋出**！在新版本中，Apache Doris 團隊修復了自 1.2.1 版本釋出以來超過 200 個問題或效能改進項。同時，1.2.2 版本作為 1.2 LTS 的迭代版本，**具備更高的穩定性，建議使用者升級到這個版本**。

**GitHub下載：**https://github.com/apache/doris/releases/tag/1.2.2-rc01

**官網下載頁：**https://doris.apache.org/zh-CN/download

# New Feature

### 資料湖分析

- **支援自動同步 Hive Metastore 後設資料資訊。** 預設情況下外部資料來源的後設資料變更，如建立或刪除表、加減列等操作不會同步給 Doris，使用者需要使用 `REFRESH CATALOG` 命令手動重新整理後設資料。在 1.2.2 版本中支援自動重新整理 Hive Metastore 後設資料資訊，透過讓 FE 節點定時讀取 HMS 的 notification event 來感知 Hive 表後設資料的變更情況。參考檔案：[https://doris.apache.org/docs/dev/lakehouse/multi-catalog/](https://doris.apache.org/docs/dev/lakehouse/multi-catalog/)

- **支援讀取 Iceberg Snapshot 以及查詢 Snapshot 歷史。**  在執行 Iceberg 資料寫入時，每一次寫操作都會產生一個新的快照。預設情況下透過 Apache Doris 讀取 Iceberg 表僅會讀取最新版本的快照。在 1.2.2 版本中可以使用 `FOR TIME AS OF` 和 `FOR VERSION AS OF` 語句，根據快照 ID 或者快照產生的時間讀取歷史版本的資料，也可以使用 iceberg_meta 表函式查詢指定表的快照資訊。參考檔案：[https://doris.apache.org/docs/dev/lakehouse/multi-catalog/iceberg](https://doris.apache.org/docs/dev/lakehouse/multi-catalog/iceberg)

- JDBC Catalog 支援 PostgreSQL、Clickhouse、Oracle、SQLServer。

- **JDBC Catalog 支援 insert into 操作。** 在 Doris 中建立 JDBC Catalog 後，可以透過 insert into 語句直接寫入資料，也可以將 Doris 執行完查詢之後的結果寫入 JDBC Catalog，或者是從一個 JDBC 外表將資料匯入另一個 JDBC 外表。參考檔案：[https://doris.apache.org/docs/dev/lakehouse/multi-catalog/jdbc/](https://doris.apache.org/docs/dev/lakehouse/multi-catalog/jdbc/)

### 自動分桶推算

支援透過 `DISTRIBUTED BY HASH(……) BUCKETS AUTO` 語句設定自動分桶，系統幫助使用者設定以及伸縮不同分割槽的分桶數，使分桶數保持在一個相對合適的範圍內。參考檔案：[https://mp.weixin.qq.com/s/DSyZGJtjQZUYUsvfK0IcCg](https://mp.weixin.qq.com/s/DSyZGJtjQZUYUsvfK0IcCg)

### 新增函式

增加歸類分析函式 `width_bucket` 。參考檔案：[https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-functions/width-bucket/#description](https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-functions/width-bucket/#description)

# Behavior Changes

### 預設情況下禁用 BE 的 Page Cache

關閉此配置以最佳化記憶體使用並降低記憶體 OOM 的風險，但有可能增加一些小查詢的查詢延遲。如果您對查詢延遲敏感，或者具有高併發小查詢場景，可以配置 `disable_storage_page_cache=false` 以再次啟用 Page Cache。

### 增加新 Session 變數 `group_by_and_having_use_alias_first`

用於控制 group by 和 having 語句是否優先使用列的別名，而非從 From 語句裡尋找列的名字，預設為false。

# Improvement

### Compaction 最佳化

- **支援 Vetical Compaction**。在過去版本中，寬列場景 Compaction 往往會帶來大量的記憶體開銷。在 1.2.2 版本中，Vertical Compaction 採用了按列組的方式進行資料合併，單次合併只需要載入部分列的資料，能夠極大減少合併過程中的記憶體佔用。在實際測試中，Vertical compaction 使用記憶體僅為原有 compaction 演演算法的 1/10，同時 Compaction 速率提升15%。

- 支援 **Segment Compaction**。在過去版本中，當使用者大資料量高頻匯入時可能會遇到 -238 以及 -235 問題，Segment Compaction 允許在匯入資料的同時進行資料的合併，以有效控制 Segment 檔案的數量，提升高頻匯入的系統穩定性。

參考檔案：[https://doris.apache.org/docs/dev/advanced/best-practice/compaction](https://doris.apache.org/docs/dev/advanced/best-practice/compaction)

### 資料湖分析

- Hive Catalog 支援訪問 Hive 1/2/3 版本。參考檔案：*https://doris.apache.org/docs/dev/lakehouse/multi-catalog/hive/*
- Hive Catalog 可以使用 Broker 訪問資料儲存在 JuiceFS 的 Hive。參考檔案：*https://doris.apache.org/docs/dev/lakehouse/multi-catalog/iceberg*
- Iceberg Catalog 支援 Hive Metastore 和 Rest 作為後設資料服務。參考檔案：*https://doris.apache.org/docs/dev/lakehouse/multi-catalog/iceberg*
- ES Catalog 支援 後設資料欄位 _id 列對映。參考檔案：[https://doris.apache.org/zh-CN/docs/dev/lakehouse/multi-catalog/es](https://doris.apache.org/zh-CN/docs/dev/lakehouse/multi-catalog/es)

- 最佳化 Iceberg V2 表有大量刪除行詩時的讀取效能。

- 支援讀取 Schema Evolution 後 Iceberg 表。

- Parquet Reader 正確處理列名大小寫。

### 其他

- 支援訪問 Hadoop KMS 加密的 HDFS 。

- 支援取消正在執行的匯出任務。參考檔案：[https://doris.apache.org/docs/dev/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/CANCEL-EXPORT](https://doris.apache.org/docs/dev/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/CANCEL-EXPORT)

- 將`explode_split` 函式執行效率最佳化 1 倍。

- 將 nullable 列的讀取效能最佳化 3 倍。

- 最佳化 Memtracker 的部分問題，提高記憶體管理精度，最佳化記憶體應用。

# BugFix

- 修復了使用 Doris-Flink-Connectore 匯入資料時的記憶體洩漏問題；

- 修復了 BE 可能的執行緒排程問題，並減少了 BE 執行緒耗盡導致的 Fragment_sent_timeout。

- 修復了 datetimev2/decivalv3 的部分正確性和精度問題。

- 修復了 Light Schema Change 功能的各種已知問題。

- 修復了 bitmap 型別 Runtime Filter 的各種資料正確性問題。

- 修復了 1.2.1 版本中引入的 CSV 讀取效能差的問題。

- 修復了 Spark Load 資料下載階段導致的 BE OOM 問題。

- 修復了從 1.1.x 版升級到 1.2.x 版時可能出現的後設資料相容性問題。

- 修復了建立 JDBC Catalog 時的後設資料問題。

- 修復了由於匯入操作導致的 CPU 使用率高的問題。

- 修復了大量失敗 Broker Load 作業導致的 FE OOM 問題。

- 修復了載入浮點型別時精度丟失的問題。

- 修復了 Stream Load 使用兩階段提交時出現的記憶體洩漏問題。

# 其他

新增指標以檢視 BE 上的 Rowset 和 Segment 總數量 `doris_be_all_rowset_nums` 和 `doris_be_all_segment_nums`

Apache Doris 1.2.2 Release 版本正式釋出

相關文章