> **分享嘉賓**：**衣國壘** Apache Doris Committer、SelectDB 聯合創始人&CTO
**整理**：[**墨天輪社群**](https://www.modb.pro/?0601)

**導讀**

大家好，我是來自[Apache Doris](https://www.modb.pro/wiki/968?0601 "Apache Doris")社群的衣國壘，也是SelectDB的聯合創始人，今天為大家分享的內容是《Apache Doris（incubating）1.0版本特性解析與未來規劃》。

### Apache Doris 介紹

#### 1、Apache Doris 發展歷程

Apache Doris（incubating）是一個高效能、簡單易用、支援實時的MPP架構分析型資料庫，最早發源於百度內部的廣告統計報表場景中，後來隨著系統的多次最佳化迭代開始在百度內部得到大範圍推廣，成為百度統一的OLAP分析平臺。2017年正式在GitHub上開源，2018年被捐獻給Apache基金會進行孵化並正式更名為Apache Doris（incubating）。

據粗略統計，目前在全球範圍內有超過500家企業使用Apache Doris，百度、美團、小米、京東、騰訊、網易、位元組、新浪等眾多一線網際網路公司長期執行Apache Doris 在其生產環境中。

![](https://oscimg.oschina.net/oscnet/up-8f3c1ae329527c581ee45b81dbcd21ac820.png)
*圖1 Apache Doris發展歷程*

#### 2、Apache Doris 在資料分析中的定位

作為一款極速易用的分析型資料庫，Apache Doris提供了豐富的資料接入方式，儲存在RDBMS、日誌或業務系統等源端的資料可以透過多種方式匯入Doris，也可以透過CDC、Kafka訊息佇列、流處理或批處理引擎(Flink、Storm、Spark)以及ETL工具等進行資料整合與處理後載入進Doris中，由Doris承接各種分析負載。與此同時，Apache Doris還可以以外部表的方式訪問來自Elasticsearch、MySQL、PostgreSQL、Oracle等資料庫以及Hive、Iceberg、Hudi等湖倉中的資料，可以加速湖倉查詢或者進行跨資料來源的聯邦查詢。

基於Apache Doris出色的查詢效能和豐富的資料接入方式，Apache Doris可以高效支援多種業務場景，包括使用者行為分析、日誌檢索分析、交易訂單分析、自助BI平臺、實時大屏及管理駕駛艙、使用者畫像等。

![](https://oscimg.oschina.net/oscnet/up-deae04df8774f6a8278f783f32b0af69f9b.png)
*圖2 Apache Doris在資料分析中的定位*

#### 3、Apache Doris 主要適合的分析負載

Apache Doris 適合的分析負載可以概括為以下四個場景：
- 多維報表分析：適合面向企業內部業務人員的多維報表，可以高效承載超高併發和毫秒級別查詢延時的業務需求。

- Ad-hoc分析：適合企業內部資料分析師在自助BI分析平臺上進行互動式資料探索，查詢模式靈活多變、資料吞吐要求高。

- 統一數倉：透過一個平臺滿足統一的資料倉儲建設需求，簡化繁瑣的大資料技術棧，透過資源隔離來同時滿足不同業務對資料處理和應用的多樣需求。

- 湖倉加速和聯邦分析：以外表的形式查詢位於離線數倉hive以及資料湖Iceberg, Hudi, Delta lake中的資料，藉助高效向量化執行引擎和最佳化器，實現資料分析效率數倍的提升。

![](https://oscimg.oschina.net/oscnet/up-7ceae812754abf72222f8b41176b27d291e.png)
*圖3 Apache Doris 適合分析負載的四個場景*

目前，Apache Doris的開源使用者遍佈國內主流的網際網路公司，除此之外、Apache Doris也被應用在物流、製造業，金融業，遊戲等領域。

![](https://oscimg.oschina.net/oscnet/up-f37817f5d4209bf65c6478aa858465c5412.png)
*圖4 Apache Doris 部分開源使用者*

#### 4、Apache Doris 核心技術
Apache Doris 的第一個核心技術是**簡單易用**。

首先是**架構簡單**，Doris 只有兩個主程式模組，一個是**Frontend（FE）**，可以理解為 Doris 的管控節點，主要負責使用者請求的接入、查詢計劃的解析、後設資料的儲存和叢集管理相關工作。另一個是 **Backend（BE）**，主要負責資料儲存、查詢計劃的執行。Apache Doris 沒有任何外部元件（如Zookeeper、HDFS等）依賴的，這種高度整合的架構設計極大的簡化了一款分散式系統的運維成本。同時FE和BE這兩類程式都是可以橫向擴充套件的，並且擴容縮容過程非常簡單。

其次是**使用簡單**，Apache Doris支援標準SQL，可以支援聚合、排序、過濾以及多表Join、子查詢、視窗函式等語法並支援UDF和UDAF。並且Apache Doris高度相容MySQL協議，使用者可以使用各類BI以及客戶端工具輕鬆對接Doris。

![](https://oscimg.oschina.net/oscnet/up-664fc7c581a7844b0b8e378b2e9ebda1989.png)
*圖5 Apache Doris 核心技術：簡單易用*

Apache Doris 的第二個核心技術是**儲存引擎的效能卓越**。

首先表現在**列式儲存引擎**，資料按照列儲存，在查詢時可以減少無用資料的掃描，並且透過多種編碼方式實現了超高的資料壓縮比，同時豐富的索引結構也可以進一步減少資料掃描量。當前Apache Doris 支援sorted short key、Min/max、Bloom filter、invert index等多種索資料引。

其次Apache Doris的效能卓越還表現在**場景最佳化的儲存模型**，aggregate key模型可以透過預聚合大幅提升效能、unique key模型可以在相同key列上進行資料覆蓋、實現行級別資料更新，duplicate key模型可以儲存最明細資料。在資料模型之上，Apache Doris還提供了強一致的物化檢視，物化檢視表與基表的資料始終保持一致性，使用者查詢時還可以自動匹配最優的物化檢視返回查詢結果。

![](https://oscimg.oschina.net/oscnet/up-ac001b54e3963d2a67d6780fd530c156ac9.png)
*圖6 Apache Doris 儲存引擎的卓越效能*

Apache Doris 的第三個核心技術是**查詢引擎的效能卓越**。

首先是**向量化執行引擎**。向量化執行引擎是Apache Doris在1.0版本新增的功能，過去 Apache Doris 的 SQL 執行引擎是基於行式記憶體格式以及基於傳統的火山模型進行設計的，在進行 SQL 運算元與函式運算時存在非必要的開銷，導致 Apache Doris 執行引擎的效率受限，並不適應現代 CPU 的體系結構。向量化執行引擎的目標是替換 Apache Doris 當前的行式 SQL 執行引擎，充分釋放現代 CPU 的計算能力，突破在 SQL 執行引擎上的效能限制，發揮出極致的效能表現。

基於現代 CPU 的特點與火山模型的執行特點，向量化執行引擎重新設計了在列式儲存系統的 SQL 執行引擎：

- 重新組織記憶體的資料結構，用 Column替換 Tuple，提高了計算時 Cache 親和度，分支預測與預取記憶體的友好度

- 分批進行型別判斷，在本次批次中都使用型別判斷時確定的型別，將每一行型別判斷的虛擬函式開銷分攤到批次級別。

- 透過批級別的型別判斷，消除了虛擬函式的呼叫，讓編譯器有函式內聯以及 SIMD 最佳化的機會

基於以上特性，向量化執行引擎大大提高了 CPU 在 SQL 執行時的效率，經過內部測試，在款表聚合場景下效能有5-10倍的提升。

其次是基於分散式MPP的查詢框架，Doris在執行SQL時可以在節點間與節點內並行執行，大幅提升了SQL執行的效率，同時也支援大表的shuffle 分散式Join，進一步利用多節點資源進行並行資料處理。

![](https://oscimg.oschina.net/oscnet/up-0140c8fbe41006715c2f04d0494ec08c243.png)
*圖7 Apache Doris 查詢引擎的卓越效能*

同時，我們對查詢引擎的多種運算元進行最佳化。例如對原本阻塞型的聚合運算元做了自適應兩階段的最佳化，避免資料聚合時不必要的等待時間。同時針對Join運算元設計了Runtime Fliter，在左右表進行Join的時候為連線列生成了過濾結構推給左表，大大減小了Probe Table需要傳輸的資料量。針對不同型別的資料，實現了In/Min/Max/Bloom Filter等不同型別的Filter，並且Filter可以穿透嚇退到最底層的掃描節點。

Runtime Filter是非常重要的一個最佳化手段，經過我們測試，它對SSB標準測試資料集的部分查詢有2-10倍提升。

![](https://oscimg.oschina.net/oscnet/up-2b84208de2face7fe36913319b18e39240e.png)
*圖8 Apache Doris 核心技術：查詢引擎的卓越效能*

**穩定可靠**是Apache Doris 的第四個核心技術，分別體現在後設資料、資料管理、匯入事務、備份恢復上這四個方面。

- 後設資料管理：後設資料採取記憶體結構+Log的方式儲存，可以保證高效能、高可用和高可靠。Log儲存使用BDBJE，同時使用類Paxos的一致性協議複製到多節點。FE可以透過配置多個節點來保證服務的高可用性以及查詢效能的線型擴充。

- 資料管理：資料可以根據Range/List分割槽和Bucket Hash分桶後劃分成多個Tablet（資料分片），每個Tablet都可以以多副本的形式複製到多臺機器上儲存，在節點下線或擴容時，資料分片能自動在多臺節點上自動負載均衡。

- 匯入事務：透過兩階段提交保證多表匯入的原子性，使用MVCC機制來做併發控制，透過外部匯入的最少一次以及Doris內部的lable機制保證最多一次，最終實現Exactly Once，資料不丟不重。

- 備份恢復：Doris支援將資料以檔案的形式，備份到遠端儲存系統中。並透過恢復命令恢復到任意Doris叢集基於此功能可以對資料定期的進行快照備份，也可以透過這個功能，在不同叢集間進行資料遷移。

![](https://oscimg.oschina.net/oscnet/up-3cd451147baecfef19c0d4e55f2ce6a127e.png)
*圖9 Apache Doris 核心技術：穩定可靠*

### 未來規劃
Apache Doris 社群的發展逐漸繁榮，累計貢獻者規模已經增至323名，並處於持續增長中；月活躍貢獻者已接近70人，提交超過300個Commits。

![](https://oscimg.oschina.net/oscnet/up-c39b2d8d3d84defb994fe925f5011d937a5.png)
*圖10 Apache Doris 在C++專案中登上 GitHub Trending第二名*

![](https://oscimg.oschina.net/oscnet/up-7c2c4d8831d9059af4fbd725b9c7b8d2311.png)
*圖11 Apache Doris 在2022年的發展規劃*

### 關於SelectDB

SelectDB是一家開源技術公司，致力於為Apache Doris社群提供一個由全職工程師、產品經理和支援工程師組成的團隊，繁榮開源社群生態，打造實時分析型資料庫領域的國際工業界標準。基於Doris研發新一代雲原生實時數倉SelectDB，執行雲上，為使用者和客戶提供開箱即用的能力。

目前公司已經完成天使輪和天使+輪融資，融資金額達3億元人民幣。

以下是我們的聯絡方式，我們很高興與熱愛技術的你共同交流。我今天的分享就到這裡，謝謝大家！

![](https://oscimg.oschina.net/oscnet/up-37b66f573474b2f65e729eca5367c3ecbbd.png)

#### 問答環節

分享結束後，衣國壘老師也耐心解答觀眾們在問答區提出的疑問，我們也在此整理成影片，供大家檢視、學習。

?問題一覽
1. 向量化引擎在支援simd上是怎麼最佳化的？
2. Doris可以替代Greenplum、ES、ClickHouse嗎？
3. Doris可以跑標準的TPCH和TPC-DS嗎？有沒有相關的測試指令碼分享一下。
4. 多個FE是什麼機制，屬於多主嗎，多個FE如何同時處理客戶端的增刪改查的？

點選原文可檢視問題回答影片：[https://www.modb.pro/db/407457](https://www.modb.pro/db/407457?0601)

以上就是我今天分享的全部內容，謝謝大家！

> 更多精彩內容，歡迎大家觀看現場影片回放：
[https://www.modb.pro/video/6388](https://www.modb.pro/video/6388?0601)

---
- 檢視原文：[https://www.modb.pro/db/407457](https://www.modb.pro/db/407457?0601)
- 檢視【國產資料庫沙龍】實時數倉專場文章、影片回放資源：[https://www.modb.pro/topic/405214](https://www.modb.pro/topic/405214?0601)

欲瞭解更多可以進入?[墨天輪](https://www.modb.pro/?0601)，圍繞資料人的學習成長提供一站式的全面服務，打造集新聞資訊、線上問答、活動直播、線上課程、文件閱覽、資源下載、知識分享及線上運維為一體的統一平臺，持續促進資料領域的知識傳播和技術創新。

關注官方公眾號： 墨天輪、 墨天輪平臺、墨天輪成長營、資料庫國產化 、資料庫資訊

墨天輪訪談 | 衣國壘：Apache Doris（incubating）1.0版本特性解析與未來規劃

相關文章