Kyligence 副總裁周濤:創新資料能力,驅動銀行業數字化轉型|愛分析活動

ifenxi發表於2022-12-05

2022 年 10 月底,愛分析舉辦了“2022愛分析·銀行數字化網路研討會”。愛分析邀請Kyligence 副總裁周濤進行了題為《創新資料能力,驅動數字化轉型:解讀銀行業趨勢和實踐》的主題演講。

隨著銀行數字化轉型進入深水區,智慧化的資料產品和服務能力明顯增強,金融服務質量和效率顯著提高。在信創政策的推動下,資料成為銀行業主要生產要素,各銀行在前端應用、支撐平臺等數字化基礎設施轉型方面重點發力,產生了顯著的前進軌跡。

Kyligence 副總裁周濤在會上的演講圍繞銀行業數字化轉型實踐和趨勢洞察展開,分享了銀行業代表客戶數字化實踐案例,展示了數字化轉型中資料架構正規化、資料服務方式和資料平臺產品的需求變化及相關行業解決方案。

Kyligence 副總裁周濤:創新資料能力,驅動銀行業數字化轉型|愛分析活動

現將周濤總的演講實錄整理後分享如下。

Kyligence 副總裁周濤:

今天我跟大家分享的題目是 《創新資料能力,驅動數字化轉型:解讀銀行業趨勢和實踐》,本次分享結合了 Kyligence 這幾年在銀行業的實踐、趨勢洞察以及服務銀行業客戶的代表案例。

01

公司簡介

Kyligence 副總裁周濤:創新資料能力,驅動銀行業數字化轉型|愛分析活動

首先簡單介紹一下我們公司,公司名字 Kyligence 其實是 “ kylin ” 加 “ Intelligence ” 的一個組合。關於 Kyligence 的前身,大家應該知道在開源技術和大資料領域,有一個知名開源專案叫 Apache Kylin,這是第一個完全由中國人貢獻到 Apache 基金會的頂級開源專案,Kyligence 由 Apache Kylin 創始團隊建立,打造下一代企業級智慧多維資料庫,為企業簡化資料湖上的多維資料分析。公司於 2016 年成立,經過 6 年的時間,在全球已經積累超過1500 家開源生產使用者,上百家付費企業客戶,分佈在中國、美國、歐洲及亞太的多個銀行、證券、保險、製造、零售等行業。

除了 Apache Kylin,我們還有一個 “ Byzer(白澤)” 的開源專案,旨在幫助使用者以低成本和高效率的方式落地資料平臺和完成 AI 工程化,這相當於我們從大資料開始,逐漸能夠去做大資料+ AI 的解決方案。除此之外,我們現在也在基於 Kyligence 核心 OLAP 能力打造一款產品 Kyligence Zen,為企業提供整合的、輕量級的、開箱即用的指標中臺服務。在國外,指標中臺被稱為“Metrics Store”,非常火熱。

02

數字化轉型趨勢洞察

接下來重點分享下 Kyligence 對銀行業的資料能力轉型趨勢的洞察。剛才有提到過,我們服務的銀行業客戶佔比很高,在國內外加起來已經有數十家。在國內經過幾年的耕耘,算是小有成就,已經服務超過一半的國有大行和股份制銀行,頭部城商行、農商行企業也都是我們的客戶。基於對銀行業的深耕細作,Kyligence 其實對整個國內銀行業的數字化轉型有一個深度實踐的過程,也有一些洞察積累。
從趨勢角度來說,我這裡列了今天主要會聊的三點,這三點應該是一個從大到小,或者是從頂層到底層的過程,主要包含整個 資料架構的正規化、資料服務的方式以及資料平臺的產品三個方面的趨勢。
Kyligence 副總裁周濤:創新資料能力,驅動銀行業數字化轉型|愛分析活動

第一個趨勢是資料架構正規化的趨勢,叫做“ 從資料歸集到資料聯結”。其實不僅僅是銀行,我覺得企業現在面臨的大環境是,資料來源越來越多,而且資料呈現爆炸式增長。在做傳統的資料能力建設時,大家做的是單體式分析架構。所謂的單體式分析架構,就是在做傳統的資料倉儲、資料湖時,先把資料彙集到一起,然後有一個集中的平臺來提供整個資料能力的支撐。無論資料分析或者其他資料服務,都會有這樣的一個動作,所以大家可能經常聽到做資料的人會提到“做數倉”、“做資料採集”、“做 ETL ”等等的一些動作。但是在新的大資料環境下,無論是內部資料還是外部資料,無論部署模式是在本地還是雲上,傳統的單體式分析架構都開始遇到瓶頸,並且暴露出很多痛點。對於銀行業來說,隨著業務模式的轉型,企業會更多地關注外部資料,在新業務出來後,資料來源的增長是遠遠超過其本身的資料採集和歸集能力,說白了就是資料收回來的速度趕不上資料消費的速度,這種模式也會帶來資料冗餘的儲存,相應的管理成本會更高,支撐一線資料分析需求的難度也會更大。

所以從業內趨勢來看,在原本資料倉儲或者資料湖的方法論上,現在也有比較新型的方法論,比如 Data Fabric(資料編織)和 Data Mesh(資料網格),這兩種方法雖然本質上有差異,但整體來說都是在改變原來的集中式資料架構正規化, 大家都在採用去中心化的思路解決資料爆炸的問題,這裡的資料爆炸不僅僅指資料量的爆炸,更多指的是資料來源的爆炸。以我個人角度來看,2010 年開始的大資料時代,Hadoop 解決的是資料量爆炸的問題,那現在我們開始面臨的是資料來源爆炸的問題,這個問題也可以理解為如何解決資料孤島越來越多的問題。當然這兩個新型方法論的區別在於, Data Mesh 更多是以頂層業務域的角度來做資料的治理和服務,Data Fabric 更多是從底層技術的視角透過資料的聯結來進行資料服務
打個簡單的比方,如果我們把資料看作人群,把整個資料平臺或者資料能力看作一個城市的交通服務能力的話,要解決人員流動帶來的交通擁擠和堵塞問題,原本單體式架構的思路就是把所有人先集中到一起,然後再分發到各個地方去上學或者工作。Data Mesh 是以重新規劃城市功能區的方式,使得人群在相應功能區裡解決工作、住宿、上學等需求,透過減少人員流動來緩解交通擁擠,這種方式相當於是透過頂層的城市規劃治理方式來解決交通問題。而 Data Fabric 不一樣,類似於透過大力發展各種交通設施(比如地鐵、公交、計程車)等方式,並透過智慧化的排程來增強整個城市的交通聯結能力,從而解決交通擁擠的問題。所以二者是從不同層面來看待和提升資料能力建設的。總結來說,我個人認為 Data Mesh 更加美好但是難度也更大,因為對於銀行業來說,經過多年的資料能力建設,已經有很多歷史積累存在,所以它很難打破所有東西重新建設,就好比一個有著悠久歷史的城市,即使碰到了交通擁擠的難題,也難以把城市推倒重來,所以 Data Fabric 透過資料聯結來提升資料能力的方式,其落地的可行性也會更高一些。當然,拉長時間來看,我認為兩者最終都會殊途同歸。
去年,我們和中國銀聯成立資料聯合實驗室,共建創新型金融資料服務。在這個案例裡,我們基於現狀重新設計了企業的整體資料能力體系,不僅要將資料統一儲存起來,更要將資料聯結起來。從實驗室的整體目標來說,會偏向用 Data Fabric 的理念。對於金融機構來說,如果資料來源都在同一個儲存環境裡(比如說雲),那麼資料聯結會比較簡單,但是大型金融企業資料不太會上公有云,私有云是大家共同的選擇。金融機構本身要做是打造雲原生容器化的基礎資料底座,這樣資料才能儲存在統一的平臺上。在此基礎上,還要考慮怎樣減少資料的搬動和複製,這相當於要更多地借用 Data Fabric 裡主動後設資料的概念。在這樣統一的平臺上, 我們能夠實現後設資料的統一管理,透過後設資料能夠對所有資料的儲存進行識別和智慧化管理,在此基礎上我們還會實現整個計算引擎的可插拔和容器化。這裡所實現的是不同計算引擎透過同一份後設資料對不同資料交叉訪問,可以減少整體資料的 ETL 工作。
從智慧化的角度來講,後設資料除了知道資料儲存位置和格式,還能透過統一的服務平臺知道資料被使用的頻次和效率如何,從而智慧地調整底層的資料儲存位置和格式,而不用人為去做同樣的事,實現整體資料高效能服務的能力。這相當於從底層邏輯上重構企業的資料架構和能力,以此提升整體對外的資料服務能力,即透過資料聯結的方式支撐整個企業的資料服務需求。這個概念聽起來很吸引人,但是在業內並不是每個企業都走到了這一步。從我們目前的實踐來看,只是比較前沿的一些企業在做這方面的探索,他們更多是承擔了國家的資料基礎設施能力打造以及科技輸出的任務,像我們與中國銀聯、建設銀行、浦發銀行等的深度合作,也是要去打造類似 後Hadoop 時代新一代的大資料技術底座。
Kyligence 副總裁周濤:創新資料能力,驅動銀行業數字化轉型|愛分析活動

第二個想跟大家分享的趨勢是關於資料服務方式,叫做“從被動式需求支援到主動式科技賦能”。左邊列出來的傳統資料服務方式的痛點,相信大家都有所瞭解,我們把資料服務方式未來的發展定義為三個階段。大家知道傳統的數倉建設服務都是類似報表或者儀表盤的分析方式,IT 對於業務需求都是被動地響應。但是隨著銀行的數字化轉型,資料消費需求不僅限於中後臺管理者需要做資料分析,一線業務人員對資料的消費需求也會越來越大,因為銀行的數字化轉型更多地是來自於業務驅動。業務人員去做增長的時候也需要更多的資料支撐,以傳統的“業務提需求,我做一個報表”的被動響應模式已經不能滿足業務增長的需求。所以我們把原本的時代叫作“報表時代”,現在我們定義的 未來資料服務時代一個叫“資料頭條時代”,一個叫“智慧運營時代”

以資料頭條作為一個簡單的比方,在最早的網際網路時代我們看新聞的時候,是自己登到網站上去看,比如“網易新聞”、“新浪新聞”,後來隨著頭條的智慧推送出現,它可以把你感興趣的東西主動推薦給你,包括抖音也是加入了更多智慧化的方式實現內容的精準推送。那其實未來銀行業做資料服務也是要實現這樣的效果, 從原來的被動響應業務需求,到基於歷史資料和業務特點,主動推薦你需要的東西,同時我也把資料消費能力給你,你可以像搭積木一樣從底層向上搭建。再進一步,這樣的資料服務能力能夠更加智慧化的嵌入到業務流程裡,那麼業務流程和資料分析就不再是兩個分裂的介面(在這個介面裡做業務,然後去另外一個介面做資料分析),而是會形成一個閉環。智慧化資料服務能力嵌入到業務中,系統能在業務流程中智慧地分析出業務人員在做業務時需要怎樣的資料,然後進行主動推送,並且對於推送的結果進行閉環分析,以一個更先進的方式去做事。就好比現在大家在看新聞或者刷短影片時,能夠明顯感覺到如果你對某些主題感興趣,後臺會立刻捕獲到,並且馬上推送相關的內容給到你。目前,在改變資料服務方面,我們已經和不少領先的銀行客戶有了成功實踐,大部分的股份制銀行、國有銀行其實都在改變傳統報表模式,往資料頭條的方式去建設,因為原本的被動響應模式已經難以趕上資料消費需求的爆炸,所以銀行業需要更多的資料基礎設施搭建好,把資料能力釋放出去,讓業務人員能夠自己去玩資料,讓資料轉起來。

Kyligence 副總裁周濤:創新資料能力,驅動銀行業數字化轉型|愛分析活動

在這裡跟大家分享一家股份制銀行的案例。這張圖是平安銀行的指標中臺,大家知道平安銀行在零售業務上的增長非常快,也是國內少數能夠成功進行零售業務轉型的銀行。我們跟平安銀行也有著長年的合作關係,基於我們的產品和解決方案,平安銀行打造了一個叫做“潘多拉”的指標中臺,透過這個案例可以看出在資料服務方面有非常大的轉變:
  • 首先, 這個平臺改變了傳統的被動響應的服務方式。目前平臺的 IT 部門主要負責的是基礎設施的建設和原子指標的輸出,再往上的話,業務要做衍生指標或者要看個性化指標都是透過這個平臺自己去搭建,相當於一線業務人員是透過這個平臺去配置日常工作所需或者對業務最有幫助的指標。
  • 其次, 這個平臺也帶有非常強的網際網路基因或者說社群文化。使用者在平臺上除了可以自由設定自己的指標,平臺上還有指標推薦功能,這個推薦的底層邏輯不是技術,而是來自於指標的熱度,比如,某個分行用了某一系列指標來指導某個業務的開展,這些指標有著很好的業務指導意義,一定會被頻繁使用,平臺會把這些指標推薦給其他分行或者區域的同型別業務人員,這種自動化、智慧化的跨區域、跨條線的業務拉通,對整體業務的推進有著非常大的幫助,而且也有力推動了銀行內部的資料文化。
  • 而從 IT 的角度來說, 這個平臺也實現了降本增效、釋放產能的目的。整體需求交付速度提升了 240% ,這是一個什麼概念呢?就是原本業務提一個需求要看一個指標或者做一個報表,相關人員需要花一週時間去做這個報表。但是現在業務提一個需求,相關人員可能分析一下之後發現所缺的只是幾個原子指標,只需要把原子指標加工好,而業務可以像搭積木一樣在上面完成自己想要的指標。透過這樣的方式,該人員不需要花很多時間去準備資料,基本上只需要 1 到 2 天把原子指標加工好即可,整體實現了降本增效的目的。
  • 平安指標平臺的上線對整體的報表替換達到了 25% 。不知道大家是否瞭解銀行業維護一張報表大概要花多少錢?這裡我們跟客戶計算過,銀行業製作和運維一張報表所需要的計算、儲存以及後期人工運維的成本大約是10 萬元/年,如果能下線100張報表,一年省掉的成本就在1000萬。可以看到, 透過指標平臺帶來的資料服務方式的改變,對內部降本增效的收益是巨大的。

在指標平臺的建設上,平安銀行在這方面算是走得比較靠前,同時也可以看到各大頭部銀行業也都在積極進行這方面的建設,希望能夠用主動式的資料服務方式來滿足日益膨脹的資料消費需求。

Kyligence 副總裁周濤:創新資料能力,驅動銀行業數字化轉型|愛分析活動
第三,資料平臺產品的國產化替換趨勢“ 從軟體替換到能力結構與創新”。銀行業由於信創的要求,各方面的 IT 設施都在進行國產化替換,資料能力建設範疇內主要包括 BI 分析工具、MPP 數倉軟體、OLAP 分析引擎、Hadoop 大資料平臺以及資料探勘軟體等。在跟客戶多年的合作中,我們也參與了很多國產化替換專案。最近我們可以看到的趨勢是,原本只是一個產品對產品的替換需求,隨著 IT 基礎設施雲化大環境的改變以及國產化逐漸走到深水區,原本單體和本地部署的產品,現在都需要基於分散式架構和雲化基礎設施的大前提下去考慮替換方案,而且隨著開源改變軟體這個大趨勢的存在,替換方案還需要考慮如何能積極的擁抱新技術。
所以現階段在談國產化替換的時候,不僅是討論有沒有對標的產品,更多也要考慮替換過程中如何能擁抱新的架構要求和基礎設施環境。尤其是雲端計算的發展,對整個 IT 行業產生了根本性的變化,無論部署方式、資源的使用方式還是運維的方式都發生了變化。而硬體基礎設施的變革,一定會需要軟體去做相應的適配, 所以現在我們跟大行談到滿足信創要求的國產化替換時,談論的不僅是一個產品,而是一個能力解耦和功能的創新。可以看到,基本上所有的軟體最後去做能夠解耦的時候,都脫離不了採集、儲存、計算、排程、分析、服務、AI、整合這些能力範圍,但是如果要做某個產品的替換,並不是按照原本的功能模組去對標,更多是透過新的方案去滿足這些能力,並且同時考慮如何把原有的應用能夠平滑遷移或者切換過來。

Kyligence 有幸參與了某國有銀行進行傳統 OLAP 分析軟體和資料探勘產品的國產化替換過程,我們不是拿自己的軟體去跟國外的被替換軟體對標,而是 在滿足基本能力的同時,配合客戶未來的數字化轉型需求和資料能力建設規劃進行不斷的創新,並且要同時考慮如何能相容和遷移原有的應用。這裡我想舉個例子,例如國內的汽車市場,在燃油車領域去超越國外其實已經很難了,國外車企在這個領域有很多先發優勢和專利門檻,但是我們透過電動車的模式去替換的時候,發現這是一個可以彎道超車的方式,國內相關企業並不是以完全對標原來的汽車元件的方式,而是以一整套新的解決方案去解決問題,這也是我們看到的接下來在國產化軟體替換方面存在的趨勢。

今天的分享就到這裡,如果大家想了解更多,可以關注 Kyligence 的微信公眾號或者訪問官網,您可以找到更詳細的案例和產品介紹,謝謝大家!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69993021/viewspace-2926669/,如需轉載,請註明出處,否則將追究法律責任。

相關文章