從上世紀 90 年代初 Bill Inmon 在《building the Data Warehouse》一書中正式提出資料倉儲這一概念，至今已有超過三十年的時間。在最初的概念裡，資料倉儲被定義為「一個面向主題的、整合的、相對穩定的、反映歷史變化的資料集合，用於支援管理決策」，而資料湖最初是為瞭解決數倉無法儲存海量且異構的資料而構建的集中式儲存系統。

時代的發展與使用者資料應用訴求的演進，催生了資料架構的不斷革新，也衍生了更復雜的技術形態。可以清晰看到現代資料架構從計算到儲存都在向著融合統一的方向發展，新的資料湖正規化被提出，這也是 Lakehouse 誕生的背景。作為一種全新的、開放式的資料管理架構，Lakehouse 提供了更強的資料分析能力與更好的資料治理能力，也保留了資料湖的靈活性與開放式儲存，為使用者帶來更多價值：

-   從儲存的角度：統一資料整合，避免冗餘儲存以及跨系統間 ETL 帶來的繁重工程和失敗風險；
-   從治理的角度：支援 ACID、Schema Evolution 與 Snapshot，資料與後設資料皆可治理；
-   從應用的角度：多引擎訪問支援、可插拔，透過統一介面進行資料訪問，同時適用於多種工作負載 Workload；
-   ……

如果我們把 Lakehouse 從系統層面進行解構，會發現除了需要 Apache Iceberg、Apache Hudi 以及 Delta Lake 等資料湖表格式（Table Format）以外，**高效能分析引擎更是充分發揮湖上資料價值的關鍵**。

作為一款極速易用的開源實時 OLAP 資料庫，Apache Doris 自 0.15 版本即開始嘗試在 Apache Iceberg 之上探索與資料湖的能力結合。而經過多個版本的最佳化迭代，Apache Doris 在資料湖分析已經取得了長足的進展，一方面在資料讀取、查詢執行以及最佳化器方面做了諸多最佳化，另一方面則是重構了整體的後設資料連線框架並支援了更多外部儲存系統。因此 Apache Doris 已經完全具備了構建極速易用的 Lakehouse 架構的能力，並且也已在多個使用者的真實業務場景中得到驗證和推廣，我們希望透過 Apache Doris 能為使用者在更多場景中帶來價值：

1.  **湖倉查詢加速**

1.    利用 Apache Doris 優秀的分散式執行引擎以及本地檔案快取，結合資料湖開放格式提供的多種索引能力，對湖上資料及檔案提供優秀的查詢加速能力，相比 Hive、Presto、Spark 等查詢引擎實現數倍的效能提升。

1.  **統一資料分析閘道器**

1.    利用 Apache Doris 構建完善可擴充套件的資料來源連線框架，便於快速接入多類資料來源，包括各種主流關係型資料庫、資料倉儲以及資料湖引擎（例如 Hive、Iceberg、Hudi、Delta Lake、Flink Table Store 等），提供基於各種異構資料來源的快速查詢和寫入能力，將 Apache Doris 打造成統一的資料分析閘道器。

1.  **統一資料整合**

1.    基於可擴充套件的連線框架，增強 Doris 在資料整合方面的能力，讓資料更便捷的被消費和處理。使用者可以透過 Doris 對上游的多種資料來源進行統一的增量、全量同步，並利用 Doris 的資料處理能力對資料進行加工和展示，也可以將加工後的資料寫回到資料來源，或提供給下游系統進行消費。該能力使得 Apache Doris 能夠成為業務的統一資料樞紐，降低資料流轉成本。

1.  **更加開放的資料生態**

1.    透過對 Parquet/ORC 等資料格式以及開放的後設資料管理機制的支援，使用者不用再擔心資料被特定資料庫引擎鎖定，無法被其他引擎訪問，也不用再為資料的遷移和格式轉換付出高昂的時間和算力成本，降低使用者的資料遷移成本和對資料流通性的顧慮，更便捷、放心地享受 Apache Doris 帶來的極速資料分析體驗。

基於以上的場景定位，我們需要進一步去思考在構建 Lakehouse 過程中需要如何去設計和改造系統，具體包括：

-   如何支援更豐富的資料來源訪問以及更便捷的後設資料獲取方式；
-   如何提升湖上資料的查詢執行效能；
-   如何實現更靈活的資源排程與負載管理；

因此本文將重點介紹 Apache Doris 在 Lakehouse 上的設計思路和技術細節，同時會為大家介紹後續的發展規劃。

# 後設資料連線與資料訪問

截至最新的 1.2.2 版本，Apache Doris 已經提供了十餘種的資料湖格式和外部資料來源的訪問支援。同時也支援透過 Table Value Function 直接對檔案進行分析。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/196b5972f51b4ed2a693082ec3f5a56f~tplv-k3u1fbpfcp-zoom-1.image)

為了支援這些資料來源，Apache Doris 分別在**後設資料連線**和**資料訪問**兩方面做了大量的架構調整和效能最佳化 **。**

## 後設資料連線

後設資料包括資料來源的庫、表資訊、分割槽資訊、索引資訊、檔案資訊等。不同資料來源的元資訊格式、組織方式各有不同，對於後設資料的連線需要解決以下問題：

1.  **統一的後設資料結構**：遮蔽不同資料來源的後設資料差異。
1.  **可擴充套件的後設資料連線框架**：低成本、快速地接入資料來源。
1.  **高效的後設資料訪問能力**：提供可靠、高效的後設資料訪問效能，並支援實時同步後設資料變更。
1.  **自定義鑑權服務**：能夠靈活對接外部的許可權管理系統，降低業務遷移成本。

### **統一的後設資料結構**

在過去 Apache Doris 的後設資料只有 Database（資料庫） 和 Table（表）兩個層級，當外部資料目錄 Schema 發生變化或者外部資料目錄的 Database 或 Table 非常多時，需要使用者手工進行一一對映，維護量非常大。因此在 Apache Doris 1.2.0 版本中新增了 Catalog（資料目錄）層級，提供了快速接入外部資料來源的能力。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/49db6f6b33b84674a7cccbe1edac8159~tplv-k3u1fbpfcp-zoom-1.image)

Catalog 層級的引入解決以下問題：

1.  **資料來源層級的對映**：使用者不再需要在 Database、Table 層級進行一一對映，可以透過 Catalog 直接對映整個資料來源，自動同步其中的所有元資訊，簡化後設資料對映邏輯
1.  **資料來源統一資訊管理**：在 Catalog 層級統一維護指定資料來源的屬性，如連線資訊、許可權資訊、同步方式等，更方便的管理多個資料來源。

引入 Catalog 層級後，我們也對 Doris 的後設資料進行調整和劃分：

1.  Internal Catalog：原有的自管理的 Table 和 Database 都歸屬於 Internal Catalog。
1.  External Catalog：用於對接其他非自管理的外部資料來源。比如 HMS External Catalog 可以連線到一個 Hive Metastore 管理的叢集、Iceberg External Cataog 可以連線到 Iceberg 叢集等。

使用者可以使用 `SWITCH`語句切換不同的 Catalog，也可以透過全限定名方便的進行**跨資料來源的聯邦查詢**，如：

```
SELECT * FROM hive.db1.tbl1 a JOIN iceberg.db2.tbl2 b
ON a.k1 = b.k1;
```

相關檔案：https://doris.apache.org/zh-CN/docs/dev/lakehouse/multi-catalog

### 可擴充套件的後設資料連線框架

基於新的後設資料層級，使用者可以透過 `CREATE CATALOG`語句方便的新增新的資料來源：

```
CREATE CATALOG hive PROPERTIES (
    'type'='hms',
    'hive.metastore.uris' = 'thrift://172.21.0.1:7004',
);
```

在資料湖場景下，目前 Doris 支援的後設資料服務包括：

-   Hive Metastore 相容的後設資料服務
-   Aliyun Data Lake Formation
-   AWS Glue

同時，開發者也可以自行擴充套件 External Catalog，只需要實現對應的訪問介面，即可在 Doris 中快速接入新的後設資料服務。

### **高效的後設資料訪問**

後設資料儲存在外部資料來源中，而對外部資料來源的訪問受到網路、資料來源資源等限制，效能和可靠性是不可控的。所以 Doris 需要提供高效、可靠的後設資料服務以保證線上服務的穩定執行，同時 Doris 也需要實時感知後設資料的變更，提升資料訪問的實時性。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1e52775d83c64e63bde14cb22fb23b5d~tplv-k3u1fbpfcp-zoom-1.image)

Doris 透過記憶體中的**後設資料快取**提供高效的後設資料服務。後設資料快取包括**列資訊快取**，**分割槽快取**，**檔案快取。** 透過元資訊快取，可以顯著提升後設資料訪問效能並降低對外部後設資料服務的請求壓力，**使得** ******Doris 可以應對數千張表，數十萬分割槽場景下，毫秒級別的後設資料查詢** **響應** **。**

Doris 支援在 Catalog/Database/Table 級別，對後設資料快取進行手動重新整理。同時，針對 Hive Metastore，Doris還支援透過監聽 Hive Metastore Event 自動同步後設資料，提供後設資料秒級實時更新能力。

### **自定義鑑權服務**

外部資料來源通常擁有自己的許可權管理服務，而很多企業也會使用統一的許可權管理系統（例如 Apache Ranger）來管理多套資料系統。**Doris** ******支援透過自定義鑑權外掛對接企業內部已有的許可權管理系統，從而可以低成本的接入現有業務，完成授權、審計、資料加密等操作。**

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d065f96d56e44af380b75a6636706070~tplv-k3u1fbpfcp-zoom-1.image)

具體實現上，使用者可以基於 Doris 的 AccessController 介面實現外掛對接相應的許可權管理系統，並在建立 Catalog 時，指定對應的鑑權外掛。透過這種機制，所有透過 Doris 對外部資料來源的訪問，都將統一使用自定義的外掛完成鑑權、審計等操作。

## 資料訪問

外部資料來源的資料訪問，主要集中在對儲存系統的訪問支援上。在資料湖場景下，主要是對 HDFS 以及各種 S3 相容的物件儲存的支援。目前 Apache Doris 支援的儲存系統如下，並且仍在不斷增加中：

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f66b6569b6c349fbbc1b1ccebb8854ca~tplv-k3u1fbpfcp-zoom-1.image)

# 效能最佳化

在實現資料來源的連線和訪問後，下一個問題是我們如何結合 Apache Doris 自身優異的查詢效能以及各類儲存系統的特性，進行針對性的查詢效能最佳化，這也是在 構建 Lakehouse 過程中最需要解決的問題和權衡的因素。在具體實現過程中，Apache Doris 分別在**資料讀取、執行引擎、最佳化器**方面進行了諸多最佳化。

## 資料讀取

湖上資料通常儲存在遠端儲存系統上，相較於本地儲存，在資料的訪問延遲、併發能力、IO 頻寬上天然存在一定劣勢。因此，在資料讀取上，Apache Doris 從減少遠端讀取頻率，降低讀取量等方面出發進行了細緻的最佳化。

### Native File Format Reader

Parquet 和 ORC 是最常見的開放資料格式，這些資料格式本身提供了包括索引、編碼、統計資訊在內的多種特性，如何針對格式特性來提升檔案讀取效率是效能最佳化的關鍵一步。在早期的實現中，Apache Doris 是透過 Apache Arrow 來讀取 Parquet/ORC 資料檔案的，但這種方式存在以下問題：

1.  **資料格式轉換的開銷**：Arrow Reader 需要先將檔案讀取成 Arrow 的記憶體格式，再轉換到 Doris 自己的記憶體格式，兩次資料轉換帶來額外的開銷。
1.  **無法支援高階檔案格式特性**。如不支援 Parquet 的 Page Index，不支援 Bloom Fitler，無法實現謂詞下推、延遲物化等功能。

基於以上問題，我們對 Flile reader 進行了重構，實現了全新的 Native File Format Reader。這裡我們以 Parquet Reader 為例，介紹 Doris 的檔案格式讀取方面所做的最佳化：

1.  **減少格式轉換**。新的 File Reader 直接將檔案格式轉換成 Doris 的記憶體格式，並可以直接利用字典編碼等功能轉換到對應的更高效能的記憶體格式，以提升資料轉換和處理的效率。
1.  **細粒度的智慧索引**。支援了 Parquet 的 Page Index，可以利用 Page 級別的智慧索引對 Page 進行過濾。相比之前只能在 Row Group 級別過濾，Page Index 過濾粒度更細、過濾效果更好。
1.  **謂詞下推和延遲物化**。延遲物化的基本邏輯是先讀取有過濾條件的列，再使用過濾後的行號讀取其他列。這種方式能顯著降低檔案的讀取量。這一點在遠端檔案讀取場景下尤為重要，可以最大限度減少不必要的資料讀取。
1.  **資料預讀。** 將多次檔案讀取合併成一次，充分利用遠端儲存高吞吐、低併發的特性，提高資料的總體吞吐效率。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a5faaee5c7804020933e3a874d8fd32e~tplv-k3u1fbpfcp-zoom-1.image)

### File Cache

利用本地高效能磁碟對遠端儲存系統中的檔案進行本地快取，能最大限度的減少遠端資料讀取的開銷，同時可以提供接近 Doris 內部表資料的訪問效能。在本地檔案快取方面 Doris 進行了如下最佳化：

1.  **檔案塊快取（Block Cache）** 。支援對遠端檔案進行 Block 級別的快取。Block 的大小會根據讀取請求自動調整，從 4KB 到 4MB 不等。Block 級別的快取能有效減少快取導致的讀寫放大問題，最佳化快取冷啟動場景下的資料讀取延遲。
1.  **快取一致性雜湊**。透過一致性雜湊演演算法對快取位置和資料掃描任務進行管理和排程，充分利用已快取的資料提供服務，並避免節點上下線導致快取大面積失效的問題，提升快取命中率和查詢服務的穩定性。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7349ab4c773d495aa2b91334a4a28181~tplv-k3u1fbpfcp-zoom-1.image)

透過 Flie Cache，在命中快取的情況下，Apache Doris 可以提供和本地表一致的查詢效能。

## 執行引擎

在執行引擎層面，我們希望能夠完全複用 Apache Doris 的向量化執行引擎以及各類執行層面的運算元最佳化，為資料湖提供極速的查詢體驗。因此，Apache Doris 對資料掃描（Scan）節點進行了重構，使得每一種新的資料來源的接入，開發者只需要關注資料來源本身的訪問邏輯，無需重複地開發通用功能。

1.  **通用查詢能力的分層**

包括內表在內的所有資料查詢，都會使用相同的 Join、Sort、Agg 等運算元。唯一不同在於資料來源的訪問方式上，例如對本地內部格式資料的讀取，或儲存在 S3 上的 Parquet 格式資料的讀取。因此 Doris 將不同資料來源的查詢邏輯差異下推到最底層的 Scan 節點上。Scan 節點之上，所有查詢邏輯統一，Scan 節點之下，由具體的實現類負責不同資料來源的訪問邏輯。

1.  **Scan 運算元的通用框架**

對於 Scan 節點，不同資料來源也有很多共性的方面，如子任務的拆分邏輯、子任務的排程、IO 的排程、謂詞下推以及 Runtime Filter 的處理等。因此我們也對這一部分架構進行了重構。首先，將共性部分都以介面的形式對外暴露，如子任務的拆分、下推謂詞的處理等；其次，對子任務實現了統一的排程管理邏輯，可以由統一的排程器管理整個節點 Scan 任務的執行。排程器擁有節點全域性的資訊，可以方便的實現更細粒度的Scan 任務排程策略。在這樣的統一的資料查詢框架下，**大約 1 人周就可以完成一種新資料來源接入**。
![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8879785df1ff4069a3fb6413c372a04b~tplv-k3u1fbpfcp-zoom-1.image)

## 查詢最佳化器

查詢最佳化器層面的最佳化集中在**統計資訊收集**和**代價模型的推導**方面。

Apache Doris 支援對不同資料來源的統計資訊收集，如 Hive Metastore、Iceberg Metafile、Hudi MetaTable 中儲存的統計資訊等。同時在代價模型推導方面，我們也針對外部資料來源的特性做了細緻的調整。基於這些最佳化，Doris 可以為複雜的外表查詢提供更優的查詢規劃。

## 效能對比

以上優先項，我們分別在**寬表場景**（Clickbench）和**多表關聯場景**（TPC-H）下與 Presto/Trino 進行了 Hive 資料集的查詢效能對比。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/12724f561f4f42bcbb8b2e1b56e18e81~tplv-k3u1fbpfcp-zoom-1.image)

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e87d52832eb343a09a0e091a5efe7043~tplv-k3u1fbpfcp-zoom-1.image)

可以看到，在相同計算資源和資料集下，無論是寬表場景或多表關聯場景，絕大多數 SQL Apache Doris 的查詢耗時都是大幅低於 Presto/Trino **，整體效能** **相比** **Presto/** **Trino 有 3-10 倍的提升**。

# 負載管理與彈性計算

對外部資料來源的查詢並不依賴 Doris 的資料儲存能力，這也為 Doris 實現彈性的無狀態計算節點成為可能。在即將釋出的 2.0 版本中，Apache Doris 還實現了彈性計算節點功能（Elastic Compute Node），可以專門用於支援外部資料來源的查詢負載。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a91244140a5e43bfa32d7a91f1af62c6~tplv-k3u1fbpfcp-zoom-1.image)

由於計算節點是無狀態的，因此我們可以對這類節點進行快速擴縮容，以靈活地應對峰谷期的查詢負載，在查詢效能與成本消耗之間取得更好的平衡。

同時，Doris 也針對 k8s 場景下的叢集管理和節點排程進行了最佳化，Master 節點可以自動管理彈性計算節點的上下線，方便業務在雲原生場景、混合雲場景下都能便捷的管理叢集負載。

# 案例實踐

隨著以上功能的完善與效能的提升，Apache Doris 已經被多家社群使用者應用於資料湖分析，在真實業務中發揮著重要的作用，在此以某金融企業的風控場景為例。

金融風控場景往往對資料的實時性有著更高的要求，早期基於 Greenplum 和 CDH 搭建的風控資料集市已經無法滿足其高時效性的需求，T+1 的資料生產模式成為業務迅速發展的掣肘，因此該企業於 2022 年引入 Apache Doris 並改造了整個資料生產和應用流程，實現對 Elasticsearch、Greenplum 以及 Hive 的聯邦分析，整體效果包括：

-   只需建立一個 Hive Catalog 即可對現存的數萬張 Hive 表進行查詢分析，查詢效能得到極大幅度提升；
-   利用 Elasticsearch Catalog 實現對 ES 實時資料的聯邦分析，資料時效性從過去的分鐘級提升至秒級甚至毫秒級，滿足了風控策略的實時性要求；
-   將日常跑批與統計分析進行解耦，降低資源消耗的同時使系統穩定性得到進一步增強。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/22a00c256dbd4e1d8a95fb11a3ebcad8~tplv-k3u1fbpfcp-zoom-1.image)

# 未來規劃

後續 Apache Doris 將持續在 Lakehouse 方向進行迭代和升級，下一步的工作將圍繞在**更豐富的資料來源支援**、**資料整合**和**資源隔離與排程**等方面：

## 更豐富的資料來源支援

隨著資料湖在各種業務場景中的不斷落地，資料湖本身的功能也在不斷迭代以滿足越來越多樣的業務需求。Doris也將和各個開源社群緊密合作，提供更完善的資料湖分析支援。

-   Hudi Merge-On-Read 表的 Incremental Query 支援
-   利用 Iceberg/Hudi 豐富的索引功能，結合查詢最佳化器提供更低延遲的分析效能。
-   支援包括 Delta Lake、Flink Table Store 等更多資料湖格式。

## 資料整合

具體到功能層面，資料整合可以分為資料的**讀取**和**寫回**兩部分。

**資料讀取方面**，Doris 將進一步整合資料湖的資料訪問特性，包括：

-   資料湖 CDC 的接入以及增量物化檢視的支援，為使用者提供近實時的資料檢視。
-   支援 Git-Like 的資料訪問模式，透過多版本、Branch 等機制，在資料安全、資料質量等方面為使用者提供更便捷的資料管理模式。

**資料寫回功能的支援**，幫助 Doris 進一步完善統一資料分析閘道器的生態閉環。使用者可以使用 Doris 作為統一資料管理入口，管理各個資料來源中的資料，包括加工後資料的寫回、資料匯出等，對業務提供統一的資料檢視。

## 資源隔離與排程

隨著越來越多資料來源的接入，Doris 也在逐步承接不同的工作負載，比如在提供低延遲的線上服務的同時，對 Hive 中 T-1 的資料進行批次處理。所以同叢集內的資源隔離會愈發重要。

Doris 會持續最佳化彈性計算節點在不同場景下的排程管理邏輯，同時會支援更細粒度的節點內資源隔離，如 CPU、IO、記憶體等，幫助 Doris 支援多樣且穩定的工作負載。

# 加入我們

目前社群已成立 Lakehouse SIG（湖倉興趣小組），彙集了來自多家企業的開發者，旨在共同打造 Apache Doris 的 Lakehouse 場景支援，歡迎感興趣的同學加入我們。

**# 相關連結：**

**SelectDB 官網**：

https://selectdb.com

**Apache Doris 官網**：

http://doris.apache.org

**Apache Doris Github**：

https://github.com/apache/doris

查詢效能較 Trino/Presto 3-10 倍提升！Apache Doris 極速資料湖分析深度解讀

相關文章