5月16日,2023國際資管科技創業者與投資者大會“資管資料處理(大模型)技術”專場在上海舉行。本次大會以“資產管理 數智技術”為主題,邀請企業、高校、投資機構等各方開展產業交流與討論,共享共創行業機遇。
酷克資料作為國內雲原生資料倉儲領軍企業受邀參會,副總裁魏一在會上分享了大資料與資管行業結合的新思想、新技術、新實踐。
魏一表示,對於資管行業資料來源豐富、非結構化資料佔比高、機構分佈廣的特點,HashData雲數倉是最匹配的資料分析平臺方案。基於雲原生架構,透過“存算分離”和“湖倉一體”的成熟落地實踐,HashData能夠消除“資料孤島”,融合內外資料來源,靈活管理與分析非結構資料,實現資料全域性共享與高效訪問,為資管公司提供跨地域、跨部門的資料資源管理、彈性供給、多地多活部署能力,賦能資管公司充分釋放資料資源價值,獲得發展先機。
大資料時代金融業資料管理的機遇與挑戰
資料倉儲是金融業的重要基礎設施,在資料價值挖掘過程中發揮著至關重要的作用。
魏一表示,金融行業資訊與資料密集,對資料倉儲要求極為嚴苛。以往,金融行業通常使用存算一體的MPP產品來建設資料倉儲。然而,隨著金融科技的推進和資料量的激增,高併發、海量資料、超高峰值等挑戰接踵而至,導致資料資源儲存、計算和應用等需求大幅提升。
近年來,金融行業面臨線上化、無紙化、場景化的數字化改革,應用場景複雜,資料規模日趨龐大,傳統數倉無法應對業務潮汐帶來的彈性擴充套件,不能滿足千萬查詢次數/天和百萬表級複雜度查詢。同時,傳統數倉缺少多AZ部署、跨站點容災方案,已成為金融企業數字化轉型過程中的掣肘。
面對傳統資料倉儲帶來的挑戰,很多諮詢機構都提出了多元化、混合架構的思路,技術上引入了純軟的MPP資料庫和Hadoop。但隨著金融業務負載越來越複雜,需求越來越多,多元化平臺無法實現高併發、負載無法隔離等缺陷愈發凸顯,難以滿足彈性、高併發、高可靠要求,同時還存在業務體驗波動、資料整合不足、資料支撐不佳、運維管理複雜等缺點。
魏一指出,大資料+雲端計算時代,金融行業亟需既能適應業務彈性變化、又能提供良好分析體驗的下一代數倉平臺,為金融企業創新發展提供技術支撐。
魏一認為,現代金融企業資料分析平臺要具備多形態資料管理能力、多樣化分析計算能力和多維度的彈性伸縮能力,同時能夠相容結構化、半結構化、非結構化等不同形態、不同時效性的資料,進行多樣化的計算和分析,並根據業務需求變化進行彈性伸縮。
雲端計算技術可以很好解決上述這些需求,國內外主流的公有云廠商也都推出了基於雲原生架構的資料庫產品。同時,Snowflake、Databricks等獨立軟體廠商也推出存算分離、湖倉一體架構的產品。
雲原生數倉自誕生以來,迅速發展成為行業主流趨勢。多家市場調查機構釋出的報告顯示,雲原生資料倉儲的市場份額將超越傳統資料倉儲。Gartner預計,未來全球75%的資料庫都會執行在雲端。
HashData助力金融行業提質增效
當前,數字經濟已成為我國經濟發展的重要引擎。對於金融機構而言,資料也成為貫穿金融行業數字化轉型的核心資源。
隨著金融資訊化向數字化躍遷,資料庫的支撐能力在一定程度上決定著金融機構數字化轉型中的成敗。
與傳統MPP架構的資料庫相比,雲原生資料倉儲對提升企業資料分析的效率成效顯著。
獨立諮詢公司Forresters對四家使用Snowflake的企業調查顯示,三年時間累計創造的價值超過2100萬美金,ROI摺合達到612%。其中,節約資料運營成本211萬美金,節約資料庫和基礎設施運營成本595萬美金。同時,Snowflake 能夠大幅縮短計算時間,提高利潤,根據資料提供更好的決策。
HashData作為國內最早專注於雲原生數倉研發的獨立軟體廠商,自2016年創立起就始終踐行“雲原生”理念,致力於打造世界一流的雲原生資料倉儲。
HashData雲數倉採用以Snowflake、Databricks和Google BigQuery為代表的業界領先的雲原生大資料系統設計理念,圍繞著物件儲存和抽象服務構建,透過後設資料、計算和儲存三者分離,多叢集共享統一資料儲存層的架構,最大限度發揮雲端計算優勢,利用雲平臺的彈性+分散式的特點,實現快速部署、按需伸縮、不停機交付等,大幅降低企業進行大資料分析的門檻。
作為企業級雲原生資料倉儲,HashData透過創新的儲存、計算、服務、應用層架構設計,提供了傳統解決方案無法比擬的高併發、彈性、易用性、高可用性、高效能和擴充套件性,實現了雲原生、應用松耦合、湖倉一體、近乎“零運維”等特點,能滿足客戶高安全、高可靠、高擴充套件、智慧化全方位需求,為金融機構提供功能全⾯、穩定可靠、擴充套件性強以及效能優越的企業級資料庫服務。
多年來,HashData持續深耕金融核心場景,積累下豐富的實踐經驗。目前,HashData已在多家國有大型銀行、股份制銀行、頭部券商等機構實現大規模商用落地,並支撐了全球最大規模的金融行業單客戶叢集。
以恆豐銀行為例,透過引入HashData雲數倉構建的“恆心繫統”,成功解決了前幾代產品資源浪費、擴充套件性差、併發支援小、無法快速擴縮容、資料孤島、資料冗餘、運維工作量大等問題。
相比舊系統,恆心繫統實現了多方面的能力提升,核心處理能力提升6.38倍,卡業務交易每秒處理能力提升23.8倍,線上支付業務交易每秒處理能力提升17.7倍。同時,“恆心繫統”在滿足行內規劃新型數倉支撐應用計算服務需求的同時,節省了30%左右的伺服器成本。
魏一表示,未來,HashData將持續構建全面的金融數字化能力,透過深入企業業務場景的方案及服務能力,築牢金融轉型與創新發展的“數字底座”,推進金融數字化戰略落地,助力上海建設金融科技中心和全球資產管理中心。