專家觀點|張 樺:築基拓新,AntDB資料庫的實踐與探索
由中關村金融科技產業發展聯盟、中關村網際網路金融研究院、中國網際網路金融三十人論壇主辦的“2023第十屆中關村金融科技論壇年會暨2022‘光大杯’中關村番鈦客金融科技國際創新大賽頒獎典禮”在“雲端”舉辦。論壇年會為期兩天,包含主題演講、圓桌對話,釋出優秀案例、金融科技與數字普惠報告、《web3.0》圖書、中關村金融科技30強、金融科技競爭力報告等多個重要板塊。50餘位行業專家齊聚一堂,共謀金融科技領域的前沿熱點,共克時艱、共話未來!
亞信安慧副總裁張樺在12月14日自主可控專題論壇發表題為:“築基拓新,AntDB資料庫的實踐與探索”演講。他指出AntDB資料是具有“電信級” 的效能和可靠性的資料庫產品,融入了PostgreSQL、MySQL生態體系和高度相容Oracle特性,同時能夠覆蓋OLTP、OLAP和HTAP等場景,能夠幫助企業完成整個資料搬遷和應用搬遷的過程。AntDB資料庫的超融架構模式,將記憶體計算、交易、分析、及流處理四大能力融合,大大降低業務系統對多樣化資料需求支援的複雜性,為應用的開發人員以及DBA架構師帶來便利,實現企業在在統一技術架構下的實時資料處理,助力資料庫技術的國產化。
以下內容根據現場速記整理:
一、AntDB資料庫介紹
中國的數字化程式已經走過一個10年,即將邁入下一個10年,越來越多的企業邁出了數字化轉型的第一步。在基礎軟體方面比如資料庫,如何幫助企業做深、做實數字化,助力企業更好的實現降本增效。亞信在2008年以前就開始做資料庫產品,支撐了全國通訊行業超過10億的使用者日常的業務活動,當時整個市場上單獨去賣資料庫其實挺難的,所以我們基本上就是滿足自有需求,做了很多資料庫技術的研發,積累了10來年的經驗,形成了自己獨特的資料庫產品。
AntDB是亞信開發的一款資料庫產品,是一個能滿足電信級要求的資料庫產品。一個好用的資料庫產品,是要經過很多應用場景的不斷打磨,從場景裡打造出來的。AntDB產品是在通訊核心系統應用場景裡,隨著2G、3G、4G以至5G的幾次資訊爆炸的過程不斷磨練出來的,透過了通訊級的考驗,是一個可靠的資料庫產品。這裡面我們也看到一些關鍵的企業級的特性,比如說我們多次被提到的RPO、RTO這些技術指標,也是說明資料庫產品在關鍵應用裡的安全保障能力。
在去年在上海的一個關鍵生產系統裡,AntDB做到了RPO 7秒以內這樣的好成績。假如我們從企業級的應用架構裡去看資料庫的話,你就會發現一個企業裡企業架構是比較複雜的,不僅僅有Orocle、MySQL,PosgreSQL等大量結構化和非結構化的資料,如果我們站在一個CIO或者CTO的角度去看,這些資料孤島是造成整個企業IT架構碎片化低效化,產生大量冗餘和資料成本,降低業務可用性的關鍵因素。比如某個領導要看一個報表,結果這個你說要導資料,等到週末行不行。對企業決策來講是非常受影響的,所以對企業級的資料庫來說,相容性尤其是對資料的相容幷蓄是很重要的。AntDB資料庫的一個特點就是能夠相容大部分的生產體系,包括Orocle、MySQL和PosgreSQL。
如果我們站在企業的角度來看,每一個企業它不是第一天在做數字化,它其實是有大量的遺留應用或者前期的東西需要支援,這個時候你要去做去O或者是要用這個企業資料架構的案例,就得有一整套的工具和服務,能夠帶它完整完成整個資料搬遷和應用搬遷的過程。在這樣一個需求下,就要求資料庫產品不是一系列碎片化的東西,而是一個預裝好的一整套體系。所以從整個生命週期的角度來看,AntDB具備從應用的第一天第一個步驟,所有的東西都是具備的。最後一個概念就是HTTP,它的背後本質是依靠或者透過記憶體、DIMS、硬體和對應的軟體架構設計,讓使用者的熱資料留在記憶體裡,讓資料庫管理系統既能適應交易型的場景,也能夠適應分析型的場景。
我們一要能夠把企業裡的各種業務場景,在同一個技術平臺上儘可能實現低成本。所以說混合負載是一個比較關鍵的企業級特性。最後我們可以看到 AntDB就是這樣一個面向企業應用的,或者說面向大中型企業架構的專門的關係型資料庫管理系統,能夠支援分散式,能夠支援獨立部署,比較靈活的一個產品。
二、AntDB資料庫的發展歷程
AntDB的發展和通訊行業及社會資訊化發展的過程基本上是同步的。90年代末21世紀初,利於歐美市場的傳統資料庫無法滿足我國手機使用者量業務量短時間內指數級增長的資料管理需求,尤其是在應對一些核心的應用場景,比如像通訊計費、心靈分析,這樣的一些新場景是無法滿足資料處理的吞吐量和響應性。在這種背景下,亞信科技AntDB資料庫團隊成立,2008年AntDB第一代自研記憶體資料庫在通訊運營商的核心繫統應用。隨著通訊技術的升級迭代,AntDB資料庫也是與時俱進的完成了三級跳,從記憶體資料庫到全功能通用型的關聯式資料庫,再到相容Orocle、MySQL,PosgreSQL,開源生態對標國內外主流資料庫,高度相容性的全站資料庫,更進一步發展到分散式資料庫,電信業務中所有通話記錄上網的每一個報文收發後臺都有AntDB默默的支援。
面對最苛刻的通訊應用場景和其他一些關鍵的效能指標,AntDB也是符合電信級的要求的。像“雙11”、“618”電商的交易量非常大,但一年只有幾次,而AntDB十年數年如一日,每天都在做著高效率同級別的電信級交易處理。那麼在國產資料化百發齊放的今天,AntDB資料庫也走上行業舞臺,為更多行業客戶帶來高質量的產品和服務。
AntDB從2008年開始就應用在運營商核心系統上了,至今已經有將近15年,很多人可能會問,為什麼我以前沒有聽說過這個產品,這也是國產化的春風給我們這樣的產品的機會,在過去做了大量的技術積累和應用積累,但是沒有合適的商業途徑。這兩年剛好也是這樣一個環境和風口,讓大家去把這樣一個產品從通訊行業裡推出來,服務於更多的像銀行這樣的新場景。其次我們是一個服務過很多實際業務場景的產品,在全國都有我們的服務團隊,AntDB資料庫在電信行業服務的客戶遍佈全國24個省市自治區,部署的節點也超過1000多個,專案也有數百個,我們目前的應用規模和體量都是國內比較大的最大的單日交易的規模,單日可以達到百億級。
三、AntDB助力資料庫信創發展
從企業架構的角度來看什麼是一個好的資料庫,我們認為至少要做到以下三條,第一個就是牙口要好,就是要有很好的相容性,能夠適應企業裡面各種各樣不同的結構化和非結構化的資料。其次胃口要好,從有容乃大的角度來講,既要能夠適應很高的交易密度,也要能夠適應很高的儲存能力。在這個技術的底層,需要運用到分散式的架構資料分片放在很多不同的地方,平衡好交易和儲存量之間的關係。
最後一個好說難做就是要身體好有足夠的 健壯性,不僅僅在應用跑得順的時候,沒有問題,還得能夠處理各種各樣的異常情況,這個對企業應用是非常重要的,因為資料庫管的是資料,安全生產重於泰山,但這一點往往也是最難的。因為一個產品如果沒有足夠的積澱,足夠的場景去打磨它,是很難說把這個事情健壯性做得非常好,針對這三個關鍵問題,需要我們的產品做好產品的標準化,這樣才能夠適配各種不同的生態,還要有海量實時的資料處理能力,以適應國產化環境下對效能的更高要求,以達到大中型企業架構下所需的處理能力。
國產化適配是我國信創產業一直以來的熱點話題,作為一款國產資料庫產品,AntDB資料庫從研發開始就投身於國產化的時代浪潮之中。2021年國內的國產化替代意識開始覺醒,隨著工信部自主可控,技術安全可信政策的明確釋出,三大運營商也開始了自己的自主可控探索歷程。AntDB資料庫服務於中國移動某省客戶的應用升級,實現了與原有資料庫的並行與替換,初步完成了國產資料庫的國產化替代。
在此過程中有兩大挑戰和壓力, 一是計費系統承擔著幾千萬使用者的充值繳費,賬務記錄的工作可靠性要求提高,稍有風吹草動,後果不堪設想。二是業務處理的量非常大,每月超千億筆,整體業務量不遜於某些大型網際網路公司。因此計費賬務系統對於資料庫的效能要求非常高,IT核心系統選型的關鍵在於兩方面,一個是資料庫的高效處理效能,透過記憶體與磁碟的雙引擎支撐,AntDB能夠突破連線數的限制,以應對月初月末出賬等大批次併發場景下出現的讀寫效能瓶頸等問題。二是分散式資料庫的可擴充套件性,AntDB資料庫可以支援使用者線上進行橫向擴充套件,做到不影響業務的擴容,同時也具備高可用性的設計,保證分散式事物的一致性。
四、AntDB資料庫應用實踐
案例1:突破性新進展,“全國首個”核心賬務域資料遷移改造
這是是一個典型的ORTP的場景。整體的應用規模大概有4,000萬的移動使用者,將近1.8億個網際網路使用者,他們的賬務系統和生產系統都在這裡面,整個結構是一個標準的,兩地三中心架構,三個叢集一組一備加上容災中心,現在部署了27個節點,整個做下來我們跟原來的Arocho rec的4節點叢集去做比較,整體上我們的效能提升了10%,批次作業的效能提高了33%,同時能夠做到在整個擴收容的過程中無損或者說無感知,這個就是一個典型的分散式的高密度交易的場景的案例,整體的峰峰值TPS大概能夠到每秒10萬以上。
案例2:海量資料管理,自動化高可用,兼顧效能與資料安全
這是一個偏向分析型的案例,應用上是對移動某省用移動使用者的通訊記錄的儲存和管理查詢的一個應用,整個系統中有超過1,000億條資料,每天新增的資料超過了30億條,整體是1個分散式的架構,由18個節點構成的1個整體叢集。
案例3:魚與熊掌兼得,透過讀寫分離支撐高效能OLTP場景
這是一個創新案例,我們稱之為讀寫分離的分散式架構,特別適合查詢遠大於修改的企業應用場景。採用這種架構既可以避開傳統分散式部署的複雜性,又能獲得很好的橫向擴充套件能力,採用讀寫分離的部署架構,修改操作集中到1—2個主節點上去做,而查詢可以分佈到整個叢集中,很好的解決了分散式場景下事物一致性和高危、高併發之間的技術矛盾,是一個比較好的技術創新實踐。
五、資料庫技術發展趨勢及AntDB資料庫的特點
(一)技術發展趨勢
資料處理的實時化是當前重要的行業趨勢之一,主要表現為: 第一、分析業務從傳統的T+1向T+0演進,第二、網際網路+業務中的交易從過去的同步鎖表向非同步流式演進;第三、物聯網裝置告警從定期抽取向實時推進演進。
對於很多企業決策者來說,在當前的經濟形勢下需要盡一切可能降本增效。過去每週看看經營報表的習慣,現在慢慢轉變為實時視覺化的分析企業當前的經營狀況,而終端使用者的體驗也是如此,多等一秒鐘都有可能會流失,資料庫作為資訊的核心載體,其基本的設計理念卻沒有大的改變。對於實時資料處理的能力,都是透過應用框架直接建立在資料庫引擎之外的,那麼有沒有一種資料庫可以主動預警呢?資料庫融入流式資料處理能力,可以透過CTO加觸發器對實時資料的處理邏輯與拓撲進行定義,是這幾年行業中提出的全新課題。
(二) 特點
1、 超融合架構
AntDB 資料庫融合記憶體計算、交易、分析、及流處理四大能力。過去網際網路IT行業中有一句話叫專業的產品做專業的事情,也就是說大家普遍認為一款產品把一件事情做好,做精就行,而架構師的職責就是將全世界各種最好的東西搭在一起,來滿足企業自身的業務需要,這種模式聽起來沒有問題,譬如在傳統資料庫領域,但是在分散式技術已經普及到今天,從技術層面是否還存在同樣的制約呢?我們能不能夠在一款產品中完美支援多種能力將架構師與DBA系統管理員從複雜的基礎設施的規劃和搭建中解放出來,更多的關注於上層的業務表達。
使用者對於資料的應用需求,當前主要存在4個方面, 交易、分析、大資料探勘和實時流失資料處理,這4大領域當前分別由不同的技術堆疊承載,htap正在嘗試將交易與分析進行融合,而亞信AntDB的目標則是將4類資料業務納入統一的技術框架下,讓一款產品對使用者做到一站式服務。
2、 超融合資料庫
亞信AntDB所提出的資料庫超融合框架能夠充分利用分散式資料庫引擎的架構優勢,在HTTP的概念上進一步擴充,將持續儲存流式執行以及向量化分析等多引擎進行統一的架構封裝,在同一個資料庫叢集支援多種業務模型,大大降低業務系統對多樣化資料需求支援的複雜性,為應用的開發人員以及dba架構師帶來便利。從企業側的來看,產品以資料為核心的實現在統一技術架構下的實施資料處理,就是亞信AntDB資料庫提出的超融合加流批一體的新能力。
*本文系作者在中關村金融科技產業發展聯盟、中關村網際網路金融研究院和中國網際網路金融三十人論壇(CIF30)12月13-14日舉行的2023第十屆中關村金融科技論壇年會“ 科技引領·數智未來 ”上的主題發言。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70000893/viewspace-2933488/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料庫治理的探索與實踐資料庫
- 資料庫智慧運維探索與實踐資料庫運維
- 亞信安慧AntDB探索資料庫更多可能資料庫
- 前端資料層的探索與實踐(一)前端
- 前端資料層的探索與實踐(二)前端
- 做銀行家裡的資料專家:ING探索大資料時代下的金融最佳實踐大資料
- CNCC技術論壇|分散式資料庫HTAP的探索與實踐分散式資料庫
- 專家觀點∣基於資料驅動的裝置預測性維護
- 探索AntDB:資料驅動時代的引擎
- KES資料庫實踐指南:探索KES資料庫的事務隔離級別資料庫
- 亞信安慧AntDB 資料庫:超融合資料庫引領實時計算新時代資料庫
- 觀點|阿里資深技術專家:優秀的資料庫儲存引擎應具備哪些能力?阿里資料庫儲存引擎
- 華為雲胡亞凡 華為雲NoSQL資料庫的探索與實踐分享SQL資料庫
- OceanBase 的探索與實踐
- ChatGPT的探索與實踐ChatGPT
- 亞信安慧AntDB資料庫與流式計算資料庫
- 亞信科技AntDB資料庫——深入瞭解AntDB-M後設資料鎖的實現(一)資料庫
- 亞信科技AntDB資料庫——深入瞭解AntDB-M後設資料鎖的實現(二)資料庫
- 大資料開發的儲存技術探索與實踐大資料
- 向量資料庫與LLM的整合:實踐指南資料庫
- 國產資料庫源流史:AntDB資料庫資料庫
- 直擊DTCC2019現場:資料庫智慧化運維探索與實踐資料庫運維
- 亞信安慧AntDB資料庫:引領資料庫標準與效能規範,推動行業創新資料庫行業
- Flutter探索與實踐Flutter
- 國產資料庫調研之——AntDB資料庫資料庫
- BES 在大規模向量資料庫場景的探索和實踐資料庫
- 圖資料庫 NebulaGraph 的 Java 資料解析實踐與指導資料庫Java
- 拓端tecdat:資料觀察“雙十一”網購新常態
- 專業成就信賴-南大通用在分散式資料庫的創新實踐分散式資料庫
- 基於代理的資料庫分庫分表框架 Mycat實踐資料庫框架
- 亞信安慧AntDB資料庫——實時流資料處理的先鋒資料庫
- 淺析證券行業資料庫基礎平臺創新實踐行業資料庫
- T4 級老專家:AIOps 在騰訊的探索和實踐AI
- 基於圖資料庫的後設資料血緣關係分析技術研究與實踐資料庫
- 五礦期貨:NebulaGraph 圖資料庫在金融期貨行業的應用與實踐探索資料庫行業
- 國產開源資料庫:騰訊雲TBase在分散式HTAP領域的探索與實踐資料庫分散式
- Presto在滴滴的探索與實踐REST
- 專家解讀:利用Angular專案與資料庫融合例項Angular資料庫