歷經近12個小時酣暢淋漓的線上直播,DC 2021分散式資料庫開發者大會於1月6日晚上21:00圓滿結束。本次大會以“數聚未來”為主題,由中國電子技術標準化研究院指導、CSDN主辦、OceanBase承辦,木蘭開源社群、開源中國、51CTO、思否、極客邦科技、稀土掘金協辦。
大會由中國電子技術標準化研究院研究室主任楊麗蘊女士開場致辭,並特別邀請了MySQL之父、MariaDB 創始人 Michael“Monty”Widenius 與 PostgreSQL 全球開發組聯合創始人 Bruce Momjian 帶來深度的行業解析。同時 OceanBase 創始人陽振坤、CEO楊冰、CTO 楊傳輝、巨杉首席架構師 & 研發副總裁陳元熹、PingCAP 公司副總裁劉鬆,以及騰訊分散式資料庫 TDSQL 首席架構師李海翔、華為雲資料庫首席架構師馮柯等多位重磅嘉賓也都蒞臨直播間,為開發者們貢獻了一場分散式資料庫領域的技術“盛宴”。
大會幹貨之多,嘉賓之豐富可以稱得上是 2022 頭一份了,為了更好的讓讀者們瞭解本次開發者大會的精彩,小編特意從這場大會裡精選出8個關鍵詞和大家分享。
分散式-Key Word 1
中國電子技術標準化研究院研究室主任楊麗蘊:我國網際網路等新應用場景的快速發展背景下,具有大規模橫向擴充套件能力的分散式資料庫隨之成長起來,且並不落後於全球的領先產品。分散式、雲資料庫等新一代資料庫型別,沒有傳統資料庫存量市場的舊有包袱,因此近年來在國內如雨後春筍般湧現。在近年國家科技發展之下,分散式資料庫在網際網路大規模場景下快速發展之後,正走向更廣闊的市場,例如金融、通訊、政務、物聯網等企業級應用場景,都有分散式資料庫承擔創新業務的身影,並在逐步進入核心系統領域。
客觀上,與傳統集中式資料庫相比,分散式資料庫在產品成熟度和技術普及度上還存在差距。所以分散式資料庫在快速發展同時,也在不斷應對挑戰,打磨產品。我相信,在國家科技發展戰略下,以及雲端計算和 AI 智慧化深入應用下,我國分散式資料庫軟體順應了數字化發展的需求,必將取得快速創新和發展。
PingCAP公司副總裁劉鬆:分散式資料庫就是資料庫技術和分散式架構的一個結合。所以新一代的分散式資料庫既具有經典資料庫有的聯機交易和線上分析的能力,同時要具備新一代分散式架構有的高擴充套件性、自動運維,包括新一代的雲原生這種承接能力。
華為雲資料庫首席架構師馮柯:分散式資料庫六大關鍵技術方向:全球多活高可用、軟硬深度協同、企業級混合負載、雲原生、資料安全與可信、AI-Native 闡述了華為 GaussDB 的根技術能力打造之路。
OceanBase CTO楊傳輝:11年來我們一直是原生分散式資料庫的信仰者和開拓者,我認為原生分散式資料庫的幾個核心特性為:無限擴充套件,永遠線上,在一套引擎同時支援 TP 和 AP 的混合負載,保證強一致性。
OceanBase 原生分散式資料庫經歷了三次技術迭代,從最早的 NoSQL 系統走向第一代分散式資料庫,第二代分散式資料庫採用搭積木的方式,在 NoSQL 的基礎之上,引入了 SQL 的支援,支援基本的 SQL 功能,但往往都犧牲了單機的效能和成本。目前,追求極致的第三代原生分散式資料庫支援完整的企業級功能,並且做到單機效能與集中資料庫基本相當。
開源、生態-Key Word 2
PostgreSQL 全球開發組聯合創始人 Bruce Momjian:他認為開源對於全球的開發者而言都是一個絕好的機遇,在開源的整體環境下,開發者的作品能夠在全球範圍內得到認可,其本人能夠有機會在國際性會議上發言。談到分散式資料發展,他認為隨著市場成熟與價值的顯露,會有越來越多的人將目光投向分散式,而對於從業者而言,更多是要投入到創新與保障整體專案的健康度之上,這樣才能做到真正的市場先行。
PingCAP 公司副總裁劉鬆:分散式資料庫開源化這個潮流勢不可擋。未來資料庫最大的使命就是讓各行各業數字化,這也是最大的應用需求。而在這個需求之上的技術演進要靠開源,源源不斷的給更多的技術引擎供給。與此同時想要服務企業客戶,還需要新一代雲基礎設施,尤其是跨雲的雲原生來承載。應用需求+開源+雲基礎設施這就是一個三角形,移動網際網路時代,分散式資料庫的架構演進到今天,甚至到未來十年,都可能是在這一個三角形的框架裡面繼續發展。
華為雲資料庫首席架構師馮柯:分散式資料庫契合當前中國的發展階段,是由中國的人口紅利驅動的流量運用下產生的一種新的資料庫形態。分散式資料庫就像是高鐵,單機就像是轎車。開發分散式儘管複雜,就像我們沒辦法把高鐵做成像轎車那樣方便靈活,但二者都是通向同樣的智慧化目標。
雲、開放性-Key Word 3
CSDN 創始人&董事長,極客幫創投創始合夥人蔣濤:我們看到分散式的核心價值之一是可擴充套件,這點我們原有技術架構難以滿足。其次是高可用,現在不管是雲上還是在混合雲,多地多中心部署已經成為常態。所以這個核心價值的核心是什麼呢?在蔣濤眼裡,是開放性,這點值得每個分散式資料庫開發者長銘於心。
PingCAP 公司副總裁劉鬆:我們開始進入到分佈資料庫的下一個時代,從最初的網際網路需求到金字塔頂端的數字化需求,是驅動全社會關注分佈資料庫行業的最大背景之一。現在很多雲端資料庫不一定滿足高併發、高擴充套件的需求,跨雲問題一直懸而未決,但新一代的雲原生應用場景對分散式資料庫的需求非常強烈,分散式資料庫未來最大使命便是促成千行百業完成數字化目標。
一致性-Key Word 4
騰訊分散式資料庫 TDSQL 首席架構師李海翔:在演講中他回溯了資料庫體系建立以來對於資料異常的定義與概括,並詳細闡述了資料異常與整個事務處理領域關於資料異常、隔離級別與一致性三者之間的關係。TDSQL 的研究團隊通過定義衝突關係,構建衝突圖,建立圖與異常的對映並進一步對資料異常進行分類的方式,成功建立了體系化的研究資料異常的框架,並初步描述了併發訪問演算法。當資料異常之後,以向環圖為例,頂點和邊的個數是無窮多個的,這意味著資料異常是有無窮多個的。對於無窮的我們怎麼去加以認知呢?所以我們要對資料異常進行分類。對資料異常分類能夠概括總結就得到一個表格,這個表格概括了所有的資料異常。然後當我們對所有的資料異常進行了分離之後,我們就可以去定義什麼叫做隔離級別,什麼叫做一致性了。簡單來說,有資料異常即不滿足一致性,滿足一致性等於無資料異常。
HTAP混合負載-Key Word 5
OceanBase 創始人兼首席科學家陽振坤:OceanBase 創始人兼首席科學家陽振坤認為,分散式資料庫是“一個”可水平擴充套件且一份資料儲存既進行交易處理又進行分析處理的資料庫。為什麼說讓資料庫既做 OLTP 又做 OLAP 即 HTAP,面臨非常大的挑戰,就是因為 OLTP 與 OLAP 存在巨大差異,且這種差異始終存在。
陽振坤列舉了挑戰的4個方面。首先是分散式的事務處理,為什麼必須是分散式的?因為分析處理所需的龐大的資料量和計算量,要求整個系統必須是分散式的。其次,事物的優先順序分析的大查詢需要消耗大量的 CPU 記憶體和 IO 資源,很可能導致交易的小查詢無法得到所需的資源導致等待超時。第三,由於行存對交易事務處理友好,而列存對分析處理友好,HTAP 系統既需要行存又需要列存,也就是行列的混合儲存。第四是 HTAP 的效能評估,今天的各種 benchmark 都是單一的效能評估,要麼是事物處理,要麼是分析處理。但 HTAP 同時需要兩者。陽振坤堅信:人類的智慧是無窮的,HTAP 的這些挑戰部分已經在克服。在不久的將來,這些挑戰都將會被克服。
一體化架構-Key Word 6
OceanBase CTO楊傳輝:OceanBase 作為原生分散式資料庫的代表,它背後的核心技術便是一體化架構,一方面原生分散式架構能夠享受到分散式技術的無限擴充套件,另一方面對外體現了對傳統資料庫的完美相容。通過一體化架構發揮分散式加集中式的雙重技術優勢,它的底層仍然是一個原生分散式架構,能夠充分享受到分散式技術無限擴充套件,永遠線上的技術紅利。
在2021年,OceanBase 取得了包括 OLTP 到 HTAP 整體效能、單核價效比、跑批能力、Oracle 平滑遷移、易用性五大核心產品技術突破。同時在本次大會上,楊傳輝正式公佈了 OceanBase 全新的3.X工具家族—運維監控工具 OCP、開發者工具 ODC 以及遷移同步工具 OMA&OMB,併發布了 OceanBase 社群版3.1.2。
核心首選-Key Word 7
OceanBase CEO 楊冰:在各種資料庫型別中,原生分散式資料庫以其諸多特性,正引領資料庫管理技術發展趨勢。據 Gartner 近日釋出的報告,以 OceanBase 為代表的原生分散式資料庫具備高可用、可擴充套件、多地域、多部署形態、混合負載、多租戶以及透明相容性等優勢,正成為企業核心系統升級的首選。作為企業級原生分散式資料庫代表,OceanBase 在過去一年中快速發展。
楊冰在會上透露,2021年 OceanBase 的客戶數實現翻倍達到400多家。在金融等核心優勢場景,OceanBase 持續深耕,目前全國TOP 200的頭部金融機構中,有1/4都將 OceanBase 作為核心系統升級的首選。在區域性的銀行、保險、證券及基金公司中,OceanBase 市場佔比達到行業第一。除了金融場景,OceanBase 已經深入到各行各業,並在政務、能源和通訊等關係國計民生的重要領域得到應用。
據楊冰介紹,來自非金融類客戶的營收佔比已達到 OceanBase 總營收的35%,且在快速增長中。值得一提的是,隨著產品不斷迭代,OceanBase 的客戶結構也在持續優化,大量中小客戶開始青睞原生分散式資料庫。目前 OceanBase 有近七成的客戶為中小客戶。
“OceanBase 的使命是用技術讓海量資料管理和使用更簡單。我們相信長期主義,堅持‘以產品驅動增長’的業務模式。期待與合作伙伴、客戶、行業同仁、開發者一起,在最好的時代,為資料庫行業的發展做出貢獻,不斷創造資料管理技術的未來。”楊冰表示。
客戶價值-Key Word 8
MySQL 之父兼 MariaDB 創始人 Michael "Monty" Widenius:他認為龐大的使用者群是指引資料庫發展方向的重要物件,在建立 Maria DB 之時正是通過對於使用者需求的分析,同使用者一同去解決問題,才能從容地應對挑戰。他表示:分散式資料庫能夠在不同節點上進行基本計算,所以在處理大量資料以及組計算的時候有很大的優勢,但在事務處理方面則會慢一些,所以對於技術而言沒有絕對的完美,更多的基於需求的權衡。
巨杉首席架構師 & 研發副總裁陳元熹:我想說分散式資料庫實際上是從客戶的角度、從應用場景的角度來驅動,那麼如何從分散式,包括這種可擴充套件的儲存以及海量併發的算力解決實際客戶場景當中遇到的問題,這個是我們分散式發展當中面臨的巨大挑戰。分散式技術的發展來源於資料,中國有最好的資料市場,但是選擇什麼樣分散式架構,實際上我覺得兩個驅動,一個是這個產品本身創始團隊的基因,另一個是面向的客戶市場來決定的。巨杉資料庫從2011年開始做分散式資料庫的研發,雖然我們基於原生分散式資料庫技術,但是我們在對客戶進行能力分析以及產品推介的時候,仍然會根據客戶的場景,進行更有效、更高效的介紹。
寥寥數語無法囊括本屆分散式資料庫大會的全部精彩,但不變的是我們對於“技術”、對於“開發者”的尊重。本次大會基於“開發”,高潮仍落於“開發”。
日新月異的技術背後,是無數的開發者日以繼夜的研究奉獻。為此,在本次分散式資料庫大會上,CSDN 聯合極客邦、思否、開源中國、51CTO、掘金、木蘭開源社群共同發起了海納獎評選,選出了分散式技術領域“2021年度海納獎 | 分散式資料庫十佳實踐人物”(* 附獲獎名單,排名不分先後)。
在恭喜這些默默無聞開發者的同時,我們更希望通過他們背後的故事,為分散式資料庫行業發展樹立榜樣,推動分散式資料庫產業的發展。當然本次大會的精彩遠不止於此,下午場四個小時的兩場技術分論壇以及夜晚的“極客夜宵”同樣精彩紛呈(* 敬請關注後續推送)。
科技發展戰略之下,資料庫等基礎軟體正逐步站上 IT 產業發展的舞臺中央。在本次 DC2021分散式資料庫開發者大會上,我們更是見證了被稱之為“資料庫技術未來”——分散式資料庫技術的風采。相信在政產學研四界的共同推動下,資料庫技術將邁入嶄新篇章。
一歲一會,DC 2021分散式資料庫開發者大會圓滿結束,期待我們明年以更好的面貌再見!
掃碼觀看“直播回放”