【長圖】一文百圖縱覽 DTCC 2022

ITPUB社群發表於2022-12-26

【長圖】一文百圖縱覽 DTCC 2022

DTCC 2022,與近日落地,作為年度的資料庫領域大會,有很多來自廠商、客戶及行業內的專家帶來了對資料庫的最新解讀。作為一名資深從業者,也持續關注大會13年。今年受到疫情影響,將形式改為線上,我也與近日拿到分享材料,抽空學習下。本文從上百位老師分享中摘出印象較深的,特分享給各位。會議材料可從https://z.itpub.net/stack/detail/10027下載。



1. 分享主題:分散式資料庫

專場1.4-PolarDB-X:雲原生時代資料庫的新可能性-黃貴
相容性,是國產資料庫發展中需考慮的要點之一。透過對已有產品的相容,可以充分利用其生態效應,助力自己的發展。作為作為流行的開源資料庫,MySQL是非常多資料庫首選相容物件。本雷達圖給我印象較深,透過將MySQL的能力標準化(圓形邊界),並將自有能力與MySQL的相容情況(包括突出之處)匯於其中,整體情況一目瞭然。可以說,一張圖就可以快速瞭解產品的能力邊界與優劣勢功能。

【長圖】一文百圖縱覽 DTCC 2022

將一個分散式資料庫使用得更好,最簡單方式就是消除分散式。這句話聽起來有些歧義,但細想起來又不無道理。分散式架構會帶來更為突出能力同時,也必然對某些功能有所削弱。透過在架構設計層面,將資料可在“區域性”完成操作,就可以在充分享受分散式收益的同時,又規避了分散式的弊端。下圖中的方法透過表組功能設定,可有效消除由於分散式帶來的開銷等問題。這一特點也是很多分庫分表類產品的強點所在,可以做很靈活的分佈策略。

【長圖】一文百圖縱覽 DTCC 2022

較原生分散式而言,分庫分表架構產品在儲存粒度及均衡性上有所不足,容易形成資料熱點。PolarDB-X透過表組變更、二級分割槽功能,將更為靈活地處理資料分佈,消除資料熱點。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

大家對分散式資料庫的資料一致性,是非常關注的。基於原生開源單機產品(如MySQL)去構建的分散式資料庫產品,無法做到強一致。PolarDB-X透過共識演算法、最佳化2PC及基於InnDB引擎的增強實現了強一致。

【長圖】一文百圖縱覽 DTCC 2022

作為雲廠商的優勢點,可充分利用雲基礎設施提供更為豐富的能力。如與物件的互通,可以實現資料全生命週期管理,實現冷熱分離並提供統一開放訪問,提供給客戶更具價效比的方案。

【長圖】一文百圖縱覽 DTCC 2022

專場1.1-事務一致性-李海翔

海翔老師,一直在分散式領域,特別是事務和最佳化器方面積累很多。此次帶來以事務一致性為要點的,分散式資料庫發展對比及代差劃分,值得一讀。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場4.5-基於MySQL的分散式資料庫高可用實踐-王斌

在解決分散式事務問題上,一般各廠商都會採用兩階段提交協議方式。2PC原生方式存在諸多不足,很多產品都會做增強和最佳化。下圖正是來自這方面的一些思考,特別是引入了MySQL  MGR,解決分散式下的諸多難點。很有意思的一點是在存算分離下的計算節點上,也引入了MGR。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場7.4-中國銀聯分散式資料庫在金融場景下的技術探索與實踐-趙智慧

分散式資料庫的擴縮容問題,特別是分庫分表類產品一直是較為頭疼的問題。銀聯採用維護邏輯組與資料分片關係方式解決擴縮容方面維護使用上的若干問題。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場9.1-多region分散式資料庫方案與實踐-趙飛翔

此文重點介紹YugabyteDB的架構,特別是在多地域分佈情況下的特有設計,還是很有特色的。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場13.4-分散式事務資料庫效能最佳化實踐-黃小慧

文中將國內主流的交易性分散式資料庫做了架構劃分,從計算、儲存與管理三個核心模組的耦合情況做了比較。針對在分散式資料庫中大家比較關心的網路開銷問題,進行著重說明。這一點也是暴露出現有分散式架構的一個共性問題,即分散式下網路開銷過重,一方面很容易受到網路抖動的影響,一方面在低延時場景也面臨很大挑戰。這也是很多在應用側解決分散式問題方案的一個優勢。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022


2. 分享主題:資料庫行業實踐

金融行業作為資料庫應用的重點行業,一直以來也非常重視並持續跟進新技術的發展。本次大會也有多個金融業使用者帶來自己實踐的一些體會。

專場2.1-分散式資料庫選型與實戰-林春

分散式資料庫不是銀彈,企業需根據自身業務特點有所選擇。如下圖做好企業選型的技術畫像,幫助業務部分快速制定技術選型。

【長圖】一文百圖縱覽 DTCC 2022

作為新技術,分散式資料庫的引入需考量因素較多,如下圖總結的已非常全面。

【長圖】一文百圖縱覽 DTCC 2022

資料庫通常是信創改造中的核心環節,其失敗與否對整個專案起到重要作用,需遵循一定規律整體推進。下文總結此工作的推進思路,按照從設計研發、體系建設、人才培養、服務支援等多角度進行工作規劃。

【長圖】一文百圖縱覽 DTCC 2022

在引入新技術棧過程中,不同人群在不同階段關注點有所差異。在實際操作中,應本著充分調研、提前規劃、小步快跑、逐步積累、完善驗證、穩定保障的工作原則。我個人也曾經寫過一篇做好信創最後一公里的文章,也是這一思考的闡述。

【長圖】一文百圖縱覽 DTCC 2022

專場2.3-中國工商銀行開放平臺傳統集中式資料庫轉型實踐經驗分享-董勇明

作為對分散式資料庫較早實踐的企業,工行有著特有的一些實踐經驗。特別是從傳統資料庫遷移方面,形成了產品化、平臺化、標準化的一整套全流程的解決方案,覆蓋從設計、研發、遷移、驗證、保障等全鏈路。從行業發展角度來講,上述這些實踐內容對同行業乃至全行業都具有很好的借鑑甚至推廣意義。其非常期待如工行類的頭部使用者可以將自己的實踐產品化、商業化,助力全行業發展。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場2.4-科技有國界,資料庫自主可控遷移改造實踐-孔再華

來自民生的孔老師,著重從大家最為頭疼的應用改造入手,談到應用程式碼、SQL及儲存過程類的評估,到資料物件遷移改造等多方面內容,都是來自一線實踐的幹活,值得一讀。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022


3. 分享主題:雲&雲原生&多雲

專場8.1-鬥魚雲原生資料庫建設實踐-趙閃

將資料庫與雲原生技術相結合,利用後者所帶來資源供給的新思路,給資料庫帶來新的使用體驗。文中透過擴充套件K8S Operator實現資料庫雲原生化,解決從有狀態的資料庫服務到無狀態的雲原生服務的轉變。同時,充分利用雲原生的能力,可實現如彈性伸縮、高可用等。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場3.1-多雲環境下的雲資料庫管理-李邦國

多雲、跨雲、雲與非雲的混合,將成為未來的資料底層平臺的常態。本次大會也有多位老師談到此類問題。對於企業來說,這樣的基礎設施現狀,必要會帶來一定複雜度,也需要在整體架構層面有所提前規劃與佈局。在充分利用到雲基礎設施的優勢外,解決不同雲廠商、雲與私有化部署及跨雲之間的若干難點問題。

【長圖】一文百圖縱覽 DTCC 2022

專場19.2-作業幫資料庫多雲建設實踐-張恆巖

【長圖】一文百圖縱覽 DTCC 2022

專場3.3-雲資料庫發展的未來 - 無伺服器資料庫 Amazon Aurora Serverless解析-馬麗麗

作為近年來逐步火熱的Serverless理念,正受到越來越多雲廠商的關注。作為這一理念的最早實踐者,AWS的ServerlessDB 已經完成從v1到v2的跨代。此次大會,他們也帶來了針對這一話題的分享。首先就是為什麼需要ServerlessDB,文中談到了若干觀點,重點談到了“可變、不可預測”場景。這裡補充下個人感受,ServerlessDB確實可以滿足某些場景的需求,但其不是萬能產品,在選型使用上還需關注其長處與短板。

【長圖】一文百圖縱覽 DTCC 2022

從服務層次來說,Serverless提供了更多的服務能力,解決使用者在資源/成本上的痛點。從關注資源採購(CPU、DISK)等變為關注業務資料庫訪問本身。從自管、託管(從標準RDS到雲原生DB)、Serverless,雲上使用資料庫也經歷了幾種形態變化。在相當長時間內,這幾種方式也將長期共存。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022



4. 分享主題:架構設計

主會場2.4-渤海銀行核心系統分散式架構轉型實踐-王飛鵬

單元化,是金融行業近些來在架構設計上的一個潮流。以網際網路銀行為代表的一批企業開啟了單元化的先河,部分國有大行也完成核心的單元化改造過程,可以說單元化已成為金融架構設計的標配。

【長圖】一文百圖縱覽 DTCC 2022

單元化,有若干種實現方式,具體也參考北京金融科技產業聯盟近期發表的《分散式資料庫單元業務應用研究報告》。選擇什麼樣的單元化型別、什麼樣作為公共單元、採用多大拆分粒度、未來擴充套件如何實現等。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場6.1-海量異構資料,線上業務儲存架構演進與實踐-沈劍

來自沈大師的文章,一如既往的幹。

【長圖】一文百圖縱覽 DTCC 2022


5. 分享主題:資料庫自治/智慧運維

專場8.3-開務資料庫自治平臺架構解析及應用分享-馮友旭

專場13.2-讓資料庫會思考—SQL最佳化技術的挑戰與未來-魏可偉

第三方實現的資料自治平臺實現。在此次大會上,有多篇來自開務的分享。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場19.3-資料庫智慧運維與運維數字化轉型-白鱔

白鱔老師,集合自己多年的一線經驗,推出的D-Smart平臺很多人都很熟悉了。其提出的,構建"運維數字化轉型"的提法,個人一直關注。其以資料為前提(收集執行指標),透過資料+模型+演算法(人腦智慧)的結合,增強資料庫在基礎監控、效能診斷、預測分析、容量規劃、安全合規的方面的整體執行能力。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022


6. 分享主題:資料倉儲與分析

專場7.3-20000節點數倉叢集在大型商業銀行的落地實踐-陳曉新

MPP DB的超大規模實踐,解決在大型企業使用者的痛點。一方面可實現替代如TeraData等海外平臺,一方面規避常規類Hadoop平臺使用痛點。新一代的數倉體系,有其技術特色。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場10.1-Cloud Bigtable 在廣告技術中的使用-郭斌

作為海外的明星產品,BigTable受到很多人關注。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場10.2-AnalyticDB MySQL高效能儲存引擎-張浩然

作為國內在超大規模分析場景的代表,ADB近年發展,長期位居國內前十(墨天輪評估)。其在超大規模、極致效能的特長引人矚目。個人也曾做過ADB的PD崗,這裡也為ADB打個Call。

【長圖】一文百圖縱覽 DTCC 2022

專場12.1-雲原生無伺服器數倉最佳實踐與實時數倉架構-潘超

Redshift作為AWS的明星產品,在數倉領域舉足輕重。其目前主要發展方向也是Serverless,向上透過計算能力彈性滿足超大規模、變化負載下的計算問題,向下對接包括S3及其他眾多三方儲存引擎或格式,滿足更高價效比和更大開放性。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場12.2-融合普惠的雲數倉——解析華為雲GaussDB(DWS) 3.0-王傳廷

最早接觸DWS,感覺還是GreenPlum的雲化版本,新的3.0版本重點在雲原生適配、儲存計算彈性、湖倉一體化及資料智慧計算領域的增強。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場12.4-阿里雲資料湖與湖倉架構設計與實踐-範佚倫

阿里雲資料湖產品,較之以往更為強調開放與統一。無論是更多計算引擎的接入、更多儲存格式的支援,都是想為使用者提供更多可能性的選擇;而統一在後設資料、許可權層面,作為治理入口而存在,為使用者提供一體化的使用體驗。

【長圖】一文百圖縱覽 DTCC 2022


7. 分享主題:新興硬體

專場11.1-探究企業級資料儲存高可靠與高效的實現方法--資料與儲存技術-成思敏

隨著資料規模及使用變化,企業對資料儲存的要求不斷提高。本文可以作為一個很全面的總結,將企業資料儲存的歷史演進、關鍵技術、主要平臺及產品做了介紹。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場11.2-可計算儲存在資料庫應用場景的實踐-梅慶

新型硬體不再僅提供簡單的資料儲存與訪問,透過增強計算可在某些場景上解決上層產品不易解決的問題。例如本文產品透過透明壓縮、原子寫,可有效提升資料儲存引擎在讀寫效能上的表現。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022


8. 分享主題:資料安全

專場14.3-加碼資料安全,微盟資料安全落地方案-餘成真

資料安全正在受到企業更多的關注,如何做好安全工作,是每個企業上層需考慮的問題。近些年來國家出臺一系列相關政策法規,如何解讀這些內容指導企業內部資料安全工作。本文給出微盟的一些做法。順便插個廣告,後續將在個人公眾號推出對資料安全法規解讀分析。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場14.4-快手大資料安全平臺建設與實踐-馬玲玲

從簡單角色劃分單一平臺支援,到多粒度、全平臺、多功能支援,資料安全體系有一個建設過程。如何避免將資料安全僅做到PPT、Word裡,而是在企業內部觸手可及又無感支援,是需要有整套架構來支撐。從統一採集、統一儲存,到統一計算、統一接入,再到統一服務、統一治理,其將覆蓋資料生命週期的整個過程。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022


9. 分享主題:其他

專場8.5-程式設計師必須掌握的資料庫原理-葉正盛

佛爺出品,帶來了從資料庫原理本質如何去看待現有資料庫發展及對程式設計師意味著什麼。多年功力,可見一般。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

專場15.3-CnosDB-2.0構建高效能時序資料庫實踐-鄭博

作為新的一種資料庫,時序資料庫隨著物聯網等場景而變得活躍起來。本文從場景、發展出發,以某產品為示例講述時序資料庫的最新發展。

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

【長圖】一文百圖縱覽 DTCC 2022

其他-資料庫各儲存架構方案對比

資料庫從最初的單機到共享、從主備到多活、從集中到分佈,存在不同的儲存架構,下圖對主流的一些儲存方案從可用性、擴充套件性和經濟性上做個對比。

【長圖】一文百圖縱覽 DTCC 2022


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2929470/,如需轉載,請註明出處,否則將追究法律責任。

相關文章