隨著現代社會大型實時分析應用的逐漸流行，關係型資料庫已經難以處理高併發的事務請求。商業層面上，當全球進入數字化時代，數字化技術滲透到各行各業，同時產生了海量資料，資料的儲存和應用是企業決策的重要依據之一，業務需要實時根據TP的落地資料進行C端快速反饋，比如實時風控，交易歷史明細查詢，欺詐監測等等。技術上，由於傳統的數倉ETL鏈路長，延遲大，很難滿足業務快速多變的訴求，業務場景的變化也掀起了一股 HTAP 浪潮。

## 一、HTAP 誕生的背景

在二十世紀六十年代，商業部門的計算機開始用於工資單交易。聯機事務處理OLTP（On-Line Transaction Processing） 得到進一步發展，導致 OLTP 在政府和商業部門資訊系統中的廣泛使用。OLAP （On-Line Analytical Processing) 是在 OLTP 術語上修改而建立的。在 HTAP 概念之前，業務型別大致可以分成兩大類：聯機事務處理 OLTP、聯機分析處理 OLAP。

-   OLTP 是傳統的關係型資料庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。
-   OLAP 是資料倉儲系統的主要應用，支援複雜的分析操作，側重決策支援，並且提供直觀的查詢結果，例如業務銷售報表。

### （一）傳統 OLTP 與 OLAP 分離架構

在同一組織中，通常 OLTP 和 OLAP 系統並存，且 OLAP 資料來源於 OLTP 系統，系統架構大致可分為 ETL 資料同步和資料庫 LOG 同步兩種，以下的兩種架構都各有優缺點。

![](https://oscimg.oschina.net/oscnet/up-a57996372c48a4045dff34bd43e4b35a335.png)

*圖：傳統OLTP與OLAP分離架構*

**架構一：** 是指來自一個或多個 OLTP 資料庫的資料透過 GoldenGate、DSG 等ETL 工具提取、轉換、載入到 OLAP 系統中，隨著大資料的到來 ， 後期又出現了 Debezium 、Kafka、Flink 等流式計算引擎。使用 ETL 工具，使用者可以從多個來源收集資料並將其傳送到目的地。它的缺點就是元件太多，各項成本非常高。

**架構二：** 這種架構是指透過資料庫自帶的日誌同步功能，實時將資料同步到備庫，備庫只讀對外提供 OLAP 的服務。相比架構一在產品的維護性，實時性以及資料的一致性上有了質的提高。但是架構二在使用場景上相比架構一有所限制，只能對單一同源資料庫進行同步。

### （二）分析型需求崛起推動技術架構演進

雖然 OLTP 產品已經成熟，然而當前的解決方案無法滿足實時分析的需求。隨著資料量的積累，分析型需求不斷湧現，這也推動了資料庫技術的變革，從 OLTP到 OLAP，進而演進到 HTAP 理念，混合事務分析處理資料庫蓬勃發展。

1990 年代以前, 日常處理相關的動態業務以 OLTP 需求為主，OLAP 並未獨立；隨著資料量不斷增多、場景逐漸豐富，分析型需求開始普及，1990s MPP 架構的 OLAP 產品開始出現； 2010s，物聯網等技術的發展，使得企業對實時資料分析的需求提升，且OLAP、大資料技術棧不斷分化也給企業實際運維管理多套系統帶來挑戰，HTAP 混合事務分析處理資料庫的概念也應運而生。

![](https://oscimg.oschina.net/oscnet/up-aeee590e2e211ccfe2361b736b800105e44.png)

*圖：OLTP 到 HTAP 架構演進*

2005年, Gartner 正式提出了 HTAP 這一概念,並且迅速引起了一些企業的關注，這一概念被視為是未來資料發展的重要趨勢之一。2014年，Gartner 又對 HTAP 資料庫給出了明確的定義:即需要同時支援 OLTP 和 OLAP 場景，基於創新的計算儲存框架，在同一份資料上保證事務的同時支援實時分析，省去費時的ETL過程。

隨著 HTAP 概念不斷普及，業界也開始逐漸揭開HTAP的神秘面紗。HTAP 資料庫的興起是在 2010 年。2010 年 SAP HANA 推出，HANA 與上一代 SAP 系統的主要區別在於，它是一個面向列的記憶體資料庫，將 OLAP 和 OLTP 操作組合到一個系統中。因此，HANA 是一個“線上事務和分析處理”(OLTAP) 系統，也稱為混合事務/分析處理(HTAP) ，這一產品的釋出標誌著 HTAP 開始應用和落地。2017年，TiDB 推出1.0版本，可以替換分庫分表MySQL做 TP 業務。自此之後，中國 HTAP 資料庫發展迅猛，HTAP 技術已成為新興資料庫的重要選項。

## 二、HTAP 資料庫的核心技術

根據2022年 SIGMOD 收錄的論文[《HTAP Databases: What is New and What is Next》](https://www.modb.pro/doc/73468?0223)，目前HTAP的相關技術包括：**事務處理 (TP) 技術、分析處理（AP）技術、資料同步 (DS) 技術、查詢最佳化技術、資源排程技術**。這些關鍵技術被 HTAP 資料庫採用。然而，它們在各種指標上各有利弊，例如效率、可擴充套件性和新鮮度。

### （一）事務處理 (TP) 技術

HTAP 資料庫中的 OLTP 工作負載是透過行儲存處理的，但不同的架構會導致不同的 TP 技術。它主要由兩種型別組成：

-   **MVCC+logging**。 它依賴於 MVCC 協議和日誌記錄技術來處理事務。具體來說，每個插入首先寫入日誌和行儲存，然後附加到記憶體中的增量儲存。 更新建立具有新生命週期的行的新版本，即開始時間戳和結束時間戳，即舊版本在刪除點陣圖中被標記為刪除行。
-   **2PC+Raft+logging**。它依賴於分散式架構，它透過分散式事務處理提供了高可擴充套件性。 ACID 事務在分散式節點上使用兩階段提交 (2PC ) 協議、基於 Raft 的共識演算法和預寫日誌 (WAL) 技術進行處理。

### （二）分析處理（AP）技術
對於 HTAP 資料庫，OLAP 負載使用面向列的技術執行，例如壓縮資料上的聚合和單指令多資料 (SIMD) 指令 ，主要分為三種型別：

-   **記憶體中增量和列掃描：** 將記憶體中的增量和列資料一起掃描，因為增量儲存可能包括尚未合併到列儲存的更新記錄。由於它已經掃描了最近可見的 delta tuples 在記憶體，因此 OLAP 的資料新鮮度很高。
-   **基於日誌的增量和列掃描：** 將基於日誌的增量資料和列資料一起掃描以獲取傳入查詢。與第一種類似，第二種使用列儲存掃描最新的增量用於 OLAP。但是，由於讀取可能尚未合併的 delta 檔案，這樣的過程更加昂貴。因此，資料新鮮度較低，因為傳送和合並 delta 檔案的高延遲。
-   **列掃描：** 只掃描列資料以獲得高效率，因為沒有讀取任何增量資料的開銷。但是當資料在行儲存中經常更新時，這種技術會導致新鮮度低。

### （三）資料同步 (DS) 技術

由於在查詢時讀取增量資料的成本很高 ，因此需要定期將增量資料合併到主列儲存 中。 各種 HTAP 資料庫有 3 種 DS 技術。

-   記憶體中增量合併
-   基於磁碟的增量合併
-   從主行儲存重建

### （四）查詢最佳化技術

查詢最佳化技術的三個方面，包括：

-   **HTAP的列選擇** 。靠歷史工作負載和統計資料來選擇從主儲存中提取的頻繁訪問的列到記憶體中。因此，可以將查詢下推到記憶體中的列儲存以進行加速。缺點是可能沒有選擇新查詢的列，導致基於行的查詢處理。
    
-   **混合行/列掃描**。可以分解複雜的查詢以在行儲存或列儲存上執行，然後組合結果。這對於可以使用基於行的索引掃描和完整的基於列的掃描執行的 SPJ 查詢來說是典型的。
    
-   **HTAP 的 CPU/GPU 加速**。分別利用 CPU 的任務並行性和 GPU 的資料並行性來處理 OLTP 和 OLAP。然而，這些技術有利於高 OLAP 吞吐量，同時具有低 OLTP 吞吐量。

### （五）資源排程技術

對於 HTAP 資料庫，資源排程是指為 OLTP 和 OLAP 工作負載分配資源。當前的技術可以動態控制 OLTP 和 OLAP 工作負載的執行模式，以更好地利用資源。排程技術有兩種型別：工作負載驅動的方法和新鮮度驅動的方法。前者根據兩者執行時的效能負載 來 調整 OLTP 和 OLAP 任務各自的並行度。後者定期切換 OLTP 和 OLAP 的獨佔資源執行模式和資料交換時的資源共享執行模式。

![](https://oscimg.oschina.net/oscnet/up-82e65f46eca35192d84d75838b4685d595b.png)

*表：HTAP 五種關鍵技術介紹*

## 三、中國 HTAP 資料庫發展現狀

根據艾瑞諮詢研究室釋出的 **[《2022年中國資料庫研究報告》](https://www.modb.pro/doc/93354?0223)**，過去，HTAP 資料庫的技術架構以擴充套件主行存技術，在行存基礎上加列存的方式為主，隨著分散式技術不斷成熟，天然適配 HTAP 資料庫，於是開啟了分散式的架構實現，滿足了高併發需求。

截止2023年2月，**[墨天輪中國資料庫排行榜](https://www.modb.pro/dbRank?0223)** 共有259個資料庫參與排名。其中SQL關係型資料庫162個，佔比62%。在162個關係型資料庫中，OLTP資料庫109個，佔比67%，HTAP資料庫為26個，佔關係型資料庫的16%。**國內典型的HTAP資料庫有PingCAP的TiDB、螞蟻的OceanBase、石原子科技StoneDB、亞信AntDB等。另外“新一代HTAP + 雲”正在成為資料庫市場重要的潮流，各大雲廠商都在佈局HTAP，如阿里雲PolarDB、華為雲GaussDB、騰訊雲TDSQL等。**

-   [OceanBase](https://www.modb.pro/OceanBase?0223) 是一款金融級分散式關聯式資料庫，在儲存引擎、分散式事務、水平擴充套件、多副本、高可用、多活容災、HTAP 等多個方向都有關鍵技術突破和競爭力。OceanBase 獨創的分散式計算引擎，能夠讓系統中多個計算節點同時執行 OLTP 型別的應用和複雜的 OLAP 型別的應用，讓資料庫利用率最大化的同時利用多個節點的計算能力，完成對 OLTP 和 OLAP 應用的支援。

![](https://oscimg.oschina.net/oscnet/up-669534a0ec16768a97338da7ffef9a9998b.png)

*圖：OceanBase 一體化混合負載解決方案*

-   2017 年 [TiDB](https://www.modb.pro/TiDB?0223) 早期版本就開始嘗試支援 HTAP 的能力，並分別在 2019 年釋出了 TiSpark, 2020 年釋出了 TiDB 4.0 ，這是一款為HTAP而設計的分散式資料庫，到了5.0版本，在TiFlash引入MPP模式與多項企業級特性的增加，使得TiDB 5.0發展為“一款具備完整的 HTAP 能力”。

![](https://oscimg.oschina.net/oscnet/up-fe36536ce09deb1fb2ee63e98984a1f6643.png)

*圖：TiDB 資料庫 HTAP 關鍵架構*

-   [StoneDB](https://www.modb.pro/wiki/1259?0223) 是由石原子科技公司釋出的一款支援行列混存+記憶體計算的 HTAP 資料庫, 其創新的一體化 HTAP 架構，打破傳統TP型資料庫能力邊界，為使用者提供一站式 OLTP +OLAP 解決方案。StoneDB具備超高效能、實時分析等特點，於2022年6月29日正式開源。

![](https://oscimg.oschina.net/oscnet/up-2d2c72397b8ec38441342b77012614ced61.png)

*圖：來源於 StoneDB HTAP 架構*

-   [亞信 AntDB](https://www.modb.pro/wiki/55?0223) 資料庫是一款通用的、企業級分散式關係型資料庫，融合事務處理和線上分析操作，同時支援日常流水的操作型和企業報表的決策型業務。其採用 share-nothing 架構，計算層除完成傳統資料庫的編譯最佳化、SQL 執行等工作外，還具備分散式任務分發、HTAP 雙引擎框架處理能力。

![](https://oscimg.oschina.net/oscnet/up-dbf7a24219373e6672291289d35f95f54bd.png)

*圖：AntDB 資料庫 HTAP 解決方案架構*

隨著雲基礎設施普遍應用，“分散式×雲原生”正在重構企業資料架構，成為新一代 HTAP 的技術環境。其次，技術變革帶來了新的可能性。分散式理論與雲端計算、AI 演算法的融合帶來了新一代的架構創新，這些都使得 HTAP 在雲端可以支援不同的雲端儲存，AI 等新技術，中國 HTAP 資料庫正在打造更有競爭力的創新。

## 四、HTAP 資料庫的挑戰與機遇

目前 HTAP 資料庫與 2014 年 HTAP 剛剛提出來時的概念和內涵大不相同。隨著其不斷髮展的同時，也面臨了眾多問題。例如：HTAP 工作負載的自動列選擇、自適應 HTAP 資源排程、學習型 HTAP 查詢最佳化器、HTAP 基準測試套件等，是當下的重要問題。

### （一）HTAP 工作負載的自動列選擇

給定一個 HTAP 工作負載，從行儲存中選擇哪些列進入記憶體列儲存是一項重要任務。然而，現有方法嚴重依賴歷史統計資料來選擇列到記憶體中。例如 Oracle 21c 的 Heatmap 。此類方法透過執行所有查詢來進行推薦，因此成本高且不靈活。

### （二）自適應 HTAP 資源排程

HTAP 資源排程幫助資料庫平衡工作負載隔離和資料新鮮度之間的權衡。這是透過調整 OLAP 和 OLTP 的執行模式來實現的。 OLAP 和 OLTP 工作負載的隔離執行有利於高吞吐量，但資料新鮮度較低。混合工作負載的共享執行有利於高資料新鮮度，但具有很強的工作負載干擾。

### （三）學習型 HTAP 查詢最佳化器

現有方法透過利用成本函式來選擇 HTAP 資料庫中行儲存和列儲存的訪問路徑來最佳化查詢。然而，他們做出統一和獨立的假設來估計行/列大小，然後使用這些估計來衡量行儲存和列儲存的掃描成本。由於成本估計不準確，這種方法對於相關和傾斜的資料是有問題的。

### （四）HTAP 基準套件

有人指出TPC-H 具有均勻分佈，跨列相關性很小，對測試 OLAP 提出了一點挑戰。因此，帶有 TPC-H 的 HTAP 基準測試應該將帶有偏斜的連線交叉相關關係納入基準測試。

## 五、活動推薦

2023年4月8日，由中國DBA聯盟（ACDU）和墨天輪社群聯合主辦的[第十二屆『資料技術嘉年華』(DTC 2023) ](https://www.modb.pro/dtc2023?0223)中的專題論壇 **《融合創新：HTAP資料技術》** 盛大開啟。此專題匯聚了騰訊雲、亞信科技 、石原子科技等中國 HTAP 資料庫的優秀廠商，一起解讀中國 HTAP 資料庫的最新觀點！

![](https://oscimg.oschina.net/oscnet/up-b22d773fd01c890eb2a64d1335886300757.png)

*《融合創新：HTAP資料技術》專題內容介紹*

為了共賞中國資料庫的精彩，我們為大家準備了資料技術嘉年華早鳥福利：現限量發放100張0元購票優惠券，憑優惠碼 **DTC2023** 在購票時兌換抵扣，即可0元購票（可參照下方操作指南圖操作），請大家領取後儘快使用。如有疑問請聯絡墨天輪小助手(VX：modb666)！

> ?**購票連結：[https://www.modb.pro/dtc2023](https://www.modb.pro/dtc2023?0223)**

![](https://oscimg.oschina.net/oscnet/up-ebfa4eb04cc9db106938e1fa71b6aff8f24.png)

---

點選閱讀原文：[https://www.modb.pro/db/615248](https://www.modb.pro/db/615248?0223)

欲瞭解更多可瀏覽[墨天輪社群](https://www.modb.pro/?0223 "墨天輪社群")，圍繞資料人的學習成長提供一站式的全面服務，打造集新聞資訊、線上問答、活動直播、線上課程、文件閱覽、資源下載、知識分享及線上運維為一體的統一平臺，持續促進資料領域的知識傳播和技術創新。

關注官方公眾號： 墨天輪、 墨天輪平臺、墨天輪成長營、資料庫國產化 、資料庫資訊

聊聊 HTAP 的前世今生

相關文章