引言
近年來,全球金融科技每年的投入已經超過500億美元,中國的金融科技發展更是引領世界潮流。在金融科技不斷髮展的今天,中國金融網際網路化和零售化的發展愈加激烈,使得我國金融業務與科技的有機結合應用模式備受世界矚目。
對應著高速發展的業務模式與創新,現代金融系統亟需技術架構的革新來滿足日益增長的業務需求。這其中包括了業務系統敏捷性、風險控制、成本控制、效能和業務發展對應的彈性增長能力。在資訊化時代的今天,資料庫承載著金融企業的核心資料。作為新技術架構的樞紐,金融級資料庫是現代金融系統轉型與革新的基礎。
2017年,在國際著名的技術和市場分析機構Gartner的“2017年資料庫報告”中,中國的三家資料庫廠商有史以來第一次入選報告,分別是阿里雲資料庫,巨杉資料庫SequoiaDB以及南大通用Gbase資料庫。三款資料庫都是完全中國團隊自研,雖然應用場景不完全相同,但都在金融行業擁有不錯的應用案例,可以說十分符合“金融級”的要求。而這也標誌著在資料庫領域,中國廠商的力量已經逐漸崛起,標誌著在開源領域之外的基礎軟體領域,中國廠商也已經逐漸登上了國際知名的舞臺。
同樣2017年底,Gartner與巨杉資料庫聯合釋出了《金融級資料庫的未來發展方向》報告,報告闡述了金融行業對於資料庫的未來需求以及金融級的資料庫未來的發展方向。
本文我們也將看看“金融級”資料庫的未來發展方向。
金融級資料庫發展
長期以來,金融級資料庫市場被Oracle、IBM DB2、Microsoft SQLServer等傳統關係型資料庫所壟斷。在經歷了幾十年的發展與迭代後,傳統關係型資料庫已經無法適應新型金融科技發展的需要。因此,由新型分散式資料庫替代傳統架構,成為金融級資料庫市場的主流趨勢。
在過去的幾十年中,受限於傳統資料庫的儲存與計算能力,企業中不同業務部門之間的資料往往以獨立的方式分別存放。而伴隨著金融科技新型業務的不斷髮展,跨部門、跨業務的資料訪問成為企業的核心需求。但是,各業務系統獨立存放的資料往往形成一個個“資料孤島”,使得企業內部的資料管理面臨極大的挑戰。
新型分散式資料庫的出現旨在打破傳統資料管理的體系,將跨業務、多型別的資料進行統一的管理與維護,從資料的層面將企業內部的各個部門與業務線融會貫通。
為了實現這個目標,新型金融級資料庫需要在分散式架構、多模式資料管理、標準化資料訪問、資料可靠性、與混合負載等幾個角度對傳統資料庫架構進行重新定義。
分散式架構
伴隨著金融科技的網際網路化,傳統資料庫架構已經無法承載爆炸性增長的海量資料。同時,網際網路渠道的大規模引入,使得金融科技應用對資料庫的併發能力與效能產生新的需求。
由於傳統資料庫的單點架構無法滿足新型金融科技應用對資料量與併發能力的需求,新一代金融級資料庫必須採用分散式架構來應對該類挑戰。
在傳統資料庫架構中,企業必須通過不斷增強單一硬體裝置處理效能的方式,來提升資料庫的儲存與處理能力。但是,在資訊爆炸的今天,硬體效能的提升遠遠落後於資料量的增長。因此新型資料庫採用分散式架構,將海量資料均勻儲存在多臺物理裝置中,以避免單一裝置所造成的瓶頸。
同時,分散式資料庫的靈活擴充套件能力,為金融業務增長提供了彈性的容量與效能支援,在大規模資料應用中具有明顯的技術優勢。
此外,使用PC伺服器或雲環境,新型分散式資料庫在保障安全可靠的前提下,能夠有效降低TCO,提升開發與運維效率。
多模式資料管理
如今,在金融業務“網際網路化”和“零售化”的趨勢下,金融機構開始向使用者提供更多個性化、定製化的產品與服務。同時,伴隨著各個業務系統自身複雜性的提升,系統之間的關聯性也在不斷增強。因此,應用系統對資料的儲存管理提出了新的標準和要求。
一直以來,傳統關係型資料庫僅支援表單型別的結構化資料儲存和訪問能力,而對於層次型物件、圖片影像等半結構化與非結構化資料管理無能為力。
為了實現金融業務資料的統一管理和資料融合,新型資料庫需要具備多模式(Multi-Model)資料管理和儲存的能力,以滿足應用程式對於結構化、半結構化、非結構化資料的管理需求。
通常來說,結構化資料特指表單型別的資料儲存結構,典型應用包括銀行核心交易等傳統業務;而半結構化資料則在使用者畫像、物聯網裝置日誌採集、應用點選流分析等場景中得到大規模使用;非結構化資料則對應著海量的的圖片、視訊、和文件處理等業務,在金融科技的發展下增長迅速。
多模式資料管理能力,使得金融級資料庫能夠進行跨部門、跨業務的資料統一儲存與管理,實現多業務資料融合,支撐多樣化的金融服務。
標準化資料訪問
隨著多業務、多模式資料的統一與融合,不斷增強的業務多樣性、複雜性使得資料訪問方式面臨了新的挑戰。
在傳統資料庫中,SQL幾乎是資料庫唯一的訪問方式。而隨著業務多樣化的發展,非結構化和半結構化資料在金融科技應用的比重不斷增大。因此,新型分散式資料庫除了需要對結構化資料提供標準SQL語言的支援,還需要針對半結構化、非結構化資料提供如JSON、物件儲存管理等訪問能力。
標準化資料訪問能力既滿足了多型別資料管理的需求,也為企業有效提升了開發與運維的效率。因此,金融級資料庫作為新金融科技架構的樞紐,需要為應用程式提供標準化的資料訪問能力。
資料安全
伴隨著在企業內部價值的不斷提升,資料已經成為了金融企業的生命線與核心資產。作為承載著企業關鍵資料的資料庫,其安全性、可靠性、穩定性一直是金融級資料庫的核心價值。
同時,無論在中國還是海外,金融行業的資料安全已經成為了監管機構的首要要求。例如,銀行核心系統安全一直是我國銀監會所關注的重點,大部分銀行資料中心早已具備高可用與“兩地三中心”的能力。
但是,在分散式架構中完美實現高可用與容災面臨著諸多技術挑戰。一般來說,以統計分析為目標的分散式資料庫相對弱化了該部分的功能,而面向線上與交易業務的分散式資料庫則對資料安全保持了高標準的嚴格要求。
例如,資料容災與雙活是金融企業資料安全的最後保障。容災要求資料在多箇中心進行實時互備,一旦資料中心發生重大災難,所有線上生產業務可以及時切換中心繼續執行。而雙活則是在容災的基礎上,讓主備資料中心同時承擔生產業務,充分利用雙活能力提升業務效能,進一步減少災難發生時的當機時間。
混合負載
伴隨著業務多樣化與資料大融合,不同的業務對於資料管理的功能要求也不盡相同。由於傳統資料庫的資料儲存與訪問方式單一,使用者通常將應用分為線上業務與離線業務兩類。
線上業務一般表示如銀行核心交易系統等面向終端使用者的業務系統。通常來說,這類系統需要滿足高併發、低延時、高可靠等特性。而與之對應的離線業務則專注於批處理作業。一般這類業務具有高吞吐量、低併發、高延時等特徵。
隨著金融科技業務的不斷髮展與融合,各業務條線對於資料的需求也不再完全獨立。在該趨勢下,金融級資料庫需要同時支援線上業務與離線業務的混合負載。
根據Gartner的最新定義,混合負載(HTAP Hybrid Transactional/Analytical Processing)在保留原有線上交易功能的同時,也強調了資料庫原生計算分析的能力。支援混合負載的資料庫能夠避免在傳統架構中,線上與離線資料庫之間大量的資料互動,同時也能夠針對最新的業務資料進行實時統計分析。
為了避免線上實時讀寫與批處理作業之間的資源干擾,混合負載型資料庫通常使用讀寫分離或記憶體處理技術實現。一般來說,分散式資料庫的多副本架構天然支援讀寫分離技術,而基於傳統架構的資料庫往往採用記憶體處理技術進行實現。
結語:關於中國金融級資料庫發展
長久以來,金融行業在全部企業級IT投入中一直佔據50%以上。在幾十年業務發展與強監管的要求下,金融機構普遍對資料庫的安全性、可靠性、穩定性有著全行業最為嚴苛的要求。因此,滿足金融行業需求的金融級資料庫產品已經成為全部行業中的標杆。
與此同時,中國的商業銀行的使用者數量也一直保持世界前列。隨著中國經濟快速發展以及普惠金融、交易銀行等業務和政策的推廣,中國的商業銀行業務也在向“網際網路”、“零售化”不斷轉型。這使得銀行與終端使用者距離更貼近、互動頻率更多、業務場景更多樣。這些新需求促使中國的金融和銀行業技術轉型不斷加速,並在多種技術與業務模式上走在世界前列。
另一方面,資料庫產品的發展成熟週期漫長。一般來說,一個在金融行業大規模使用的資料庫產品,需要在技術、產品、工程、售後支援以及行業經驗上具有相當長時間的積累才能慢慢走向成熟。
此外,不同於應用軟體,作為基礎軟體的通用資料庫產品要在各類客戶中滿足各種業務需求,而不僅僅只為單一特定的場景服務。這要求資料庫廠商牢牢掌握產品核心程式碼以及發展方向,從而能夠在快速應對客戶各類需求的同時,保證高度的產品化與標準化。同時,金融級資料庫產品所面對的銀行、證券、保險等頭部行業對產品的質量與穩定性要求極高,這使得使用者對金融級資料庫在產品上的複雜度與成熟度又提出了更高層次的要求。
在這樣的背景下,巨杉資料庫作為我國自主研發的金融級資料庫產品,其技術方向領先、應用場景多樣、並且在金融企業中得以大規模應用。因此,巨杉資料庫的不斷蓬勃發展也得到了國際業界的矚目和認可。