作者：李靜瑕 來源：輕金融
在“資料為王”的時代，金融大資料被譽為“待挖掘的金礦”，其價值已經成為共識。
自從2014年大資料首次作為國家戰略被寫入政府工作報告，金融機構不斷引入大資料平臺、構建大資料體系。
如今大資料早已成為金融機構核心競爭力的關鍵一環，其中，資料中臺、大資料平臺已經成為了金融機構全面數字化轉型的關鍵，金融機構服務客戶、創新產品、內部管理等都越來越依賴“數字”。
值得關注的是，近幾年資料中臺興起，成為金融行業的話題之王，大資料平臺被談論得相對較少。隨著雲端計算、AI等技術的興起與大資料的融合加深，大資料平臺已經站在了新的關口。
01 新 關 口
大資料技術加人工智慧等技術的應用，正在讓銀行的資料變成銀行的高價值資產，推動科技賦能和場景應用創新，進而推動內部IT系統的重構和銀行的組織架構變革。
“建立健全企業級大資料平臺，充分釋放大資料作為基礎性戰略資源的核心價值。”央行印發的《金融科技(FinTech)發展規劃(2019-2021年)》曾提到。何為大資料平臺？
根據2021年12月29日釋出的《金融大資料平臺總體要求》（下稱《要求》）的定義，金融大資料平臺是企業級、分散式、開放、統一的大資料平臺，應包括資料接入、資料儲存、資料處理、資料分析及資料服務相關元件。
而金融大資料平臺的總體目標是幫助金融機構更高效、更快速地完成金融大資料應用的開發、部署和管理，從以交易為中心轉向以資料為中心，以應對更多維、更大量、更實時的資料和網際網路業務的挑戰。
談到大資料計算技術，不能繞開的就是開源大資料套件 Apache Hadoop。2008年Hadoop功能孵化完整之後，Cloudera（商業化公司）推出了自己的Hadoop發行版CDH（Cloudera’s Distribution Including Apache Hadoop）。CDH同樣開源，但是在穩定性、管理、部署、運維等方面對使用者更為友好，為Hadoop落地帶來了幫助。
到了2011年左右，Hadoop技術進入成熟期，再加上網際網路金融興起資料量極速膨脹，傳統的資料系統已經滿足不了金融機構的需求，於是具有分散式特徵的Hadoop系統進入到這些機構的選擇清單。
而金融機構密集落地基於Hadoop的大資料平臺，還要在兩年之後。例如，農行在2013年開始建設自主可控的大資料平臺，最終選定的就是MPP資料庫+Hadoop混搭的架構；2014 年工行正式基於 Hadoop 技術建設了大資料平臺。
2015年之後，移動互聯推進客戶行為模式加速變革，金融機構進入到數字化轉型新時期，不僅僅是處理越來越海量的資料，而是要應對客戶行為模式變化對客戶資料進行分析，對客戶進行精準營銷等。此時很多機構將資料分析等功能切換到了Hadoop系統上。
中國信通院2019年對測試的四五十款大資料平臺的統計顯示，其中基於CDH和HDP社群版二次研發的產品佔70%以上。
當前大資料平臺正站在新的關口。
一方面，Cloudera此前宣佈在2021年底和2022年3月結束CDH6和HDP3的服務支援，轉而推出新的產品CDP。這就意味著，金融機構以往使用的CDH和HDP系統面臨全面的遷移，急需新的替代解決方案。
另一方面，金融科技信創浪潮之下，金融機構大資料平臺國產化是一個趨勢性選擇。央行《金融科技發展規劃（2022-2025年）》要求，要加快制定並組織實施金融業關鍵軟硬資訊基礎設施安全規劃，切實提高金融業關鍵軟硬資訊基礎設施安全保障能力。
在這樣的背景下，金融機構大資料平臺該何去何從？就在這個新的關口，國內第三方金融科技廠商站了出來，憑藉自身多年積累的能力和經驗，提供豐富的金融機構大資料平臺解決方案。
02 新 趨 勢
除了行業環境的變化，大資料平臺技術也呈現出了一些新的趨勢，使得金融機構對大資料平臺提出了更高的要求和使命。
一是融合。大資料與雲端計算、AI等技術的融合，使得平臺部署在雲上已經是一個大趨勢。不過由於金融行業對公有云使用有風險安全的考量，目前更多是混合雲架構為主。Cloudera的CDP就是一個混合雲/多雲的大資料平臺。
另外是與AI的融合。如AI的智慧演算法等可以運用到大資料裡面去，一方面大資料給AI提供資料上的支撐；另一方面，AI使用的一些常規的演算法可以反哺到大資料平臺上面，去結合大資料的資料特性，可以給客戶進行精準的產品推薦。
IDC中國發布2021H1大資料平臺市場份額報告顯示，整體市場規模達54.2億元人民幣，相比去年同期增速為43.5%，“市場增長的驅動力來源於數字化轉型、人工智慧的部署、行業雲的建設以及新基建的政策驅動等”。
二是實時性。金融機構經過多年對大資料平臺的佈局，基礎架構已慢慢成型，支撐其業務場景高效率成為新的需求。當前，隨著大資料與雲端計算、AI等技術的深度融合，市場也有關鍵認為“大資料”正在快步走向“快資料”時代。對於金融機構而言，就是提升大資料的“實時性”。
例如，工行在2020年就開始建設大資料高時效類場景，即大資料平臺內部除了批量計算之外，還需要實時計算、聯機分析、資料API 等平臺，縮短資料端到端閉環時間，形成聯機高併發的訪問能力，提升資料賦能業務的時效。
三是前瞻性。大資料平臺支撐金融機構更加了解客戶，也可以為客戶提供服務做前瞻性佈局。《要求》裡面也提到，金融大資料平臺具體功能技術可以劃分為基本要求和增強要求。其中，增強要求是從技術的發展趨勢和金融使用者的前瞻性需求入手提出的。這意味著，金融機構需要從客戶需求的上前瞻性地提升大資料平臺的構建。
最後則是安全性。無論是使用的大資料平臺技術的自主可控安全，還是對資料本身的安全要求，都被提到了更高的高度。這對金融機構選擇或構建大資料平臺合作提出了更高的要求。
隨著第三方廠商的加入，讓金融機構在技術自主可控的層面有了更多的選擇。國產化趨勢給第三方服務商迎來戰略機遇期。
網易數帆推出的有數資料開發及管理平臺——一站式大資料管理及開發平臺，包含大資料平臺與資料中臺兩大核心部分，主要覆蓋大資料開發，任務排程，資料質量，資料治理及資料服務。
大資料平臺層實質上也是Hadoop發行版，相比社群版本整合了Spark最新版本且擁有完善的許可權管控以及審計能力，可以大幅提高業務離線ETL效率。此外，數帆針對Impala元件進行了大量的功能增強以及效能優化，保障了使用過程中的穩定性以及效能。
值得關注的是，國產化產品能否滿足金融機構的需求？金融機構如何選擇大資料平臺的新方向？
03 新 選 擇
要回答這個問題，就要先理清金融機構目前需要什麼。
首先，金融科技自主可控、資料安全可控、成本控制、快速的服務反應是金融機構當前對大資料平臺需求的關鍵詞。金融以安全為主，其資料安全和業務連續性保障的技術要求通常高於其他行業。
例如，在控制成本上，某家金融機構自身IT技術實力較強，其叢集十幾個，節點數預計上百，現階段資料平臺有2-3百萬軟體合作的費用。另外使用CDH版本不再更新，需要專門培養一批團隊負責維護，也會增加成本。
這就使得大資料平臺的基礎軟體金融機構往往是選擇第三方廠商產品。面對這樣的情況，金融機構或繼續往CDP遷移，或選擇國產化技術的大資料平臺基礎軟體進行遷移。
其次，無論選擇何種產品，金融機構會關注大資料平臺產品的“普及度”，即使用的底層平臺是否是具有高普及度的，例如Hadoop、Spark等。此外他們更希望產品具有開源的性質。
“金融機構對大資料整套系統的依賴性越來越明顯。”網易數帆大資料基礎技術平臺負責人、資深架構師蔣鴻翔告訴輕金融，大資料平臺是建立在一個低成本的伺服器的基礎之上，可以無限分散式擴充套件的，所以其成本、擴充套件性以及穩定性都是金融機構很好的選擇。
除了產品本身，金融機構越來越注重第三方金融科技公司的實力以及產品的服務，強大的技術支撐，全面的生態相容、及時響應漏洞修復、快速更新迭代等都是供應商需要具備的能力。
當然，從目前的環境下來看，國產大資料平臺已經形成了如下優勢，自主可控，將控制權掌握在企業自己手中；本地服務迅速響應、順暢溝通；合作共創，深入業務，定製化需求支援。
以網易數帆的有數資料開發及管理平臺為例，即擁有開源的底座，並且支援相容CDH核心元件生態，且在此基礎上根據技術發展趨勢進行了部分元件升級以及擴充套件，支援金融機構的定製化需求，例如在一個標準產品的專案裡，還能支援20%~30%的定製開發需求。
在與某證券公司共建大資料平臺的過程中，網易數帆主要就資料管理、安全中心、資料標準、資料質量等幾大子模組推動開發合作，同時會依據證券行業自身的特殊需求進行定製，如使用者畫像的增強、典型的交易日排程，即資料僅在交易日加工等，從而形成更符合行業特性的平臺解決方案。
網易數帆金融大資料解決方案架構
同時，網易數帆還配套一站式資料中臺及豐富資料產品。在大資料發行版底層元件的基礎之上可供使用者選擇性提供一站式資料中臺服務以及豐富的資料產品，方便業務開箱即用。目前，網易數帆已服務多家金融行業客戶，包括某國有銀行金融科技子公司、華泰證券、東北證券、華夏理財、華福證券等，落地性得到充分驗證。
在大資料平臺這個時間關口上線契合當前金融機構需求的產品，主要也來源於網易數帆在大資料領域深耕多年，積累了完善的大資料研發生態體系以及豐富的生產線運維經驗。
在Hadoop還未問世之時，2006年網易就開始自己做分散式儲存系統。2011-12年引入Hadoop體系，用來支撐郵箱、新聞等業務。到了2015年，為解決元件分散缺乏統一管理的問題，網易開始著手開發大資料平臺工具，做了類似CDH的平臺整合。2018年在大資料蓬勃發展之時，網易數帆開發了資料中臺，成為面向各個BU的通用工具。
到現在4年時間，網易數帆也形成了一套資料中臺的方法論。
大資料技術的研發需要的是強大的科技人才隊伍的支撐。網易數帆當前大資料平臺和資料中臺團隊人數已達數百人，能夠提供技術支援、客戶運維、核心研發三位一體的服務保障。
本身技術過硬、產品相容性強再加上服務的優勢，網易數帆的大資料平臺產品已經受到了多家金融機構的關注。
“很多金融客戶，傾向於雲端計算私有化部署，所以數帆在金融行業大資料平臺往雲化部署的場景下稍微來說會慢一些。在非金融行業，其實我們已經往雲平臺方向去轉了。”面對未來大資料平臺雲化的趨勢，蔣鴻翔如是表示。
根據statista的測算，2019年全球Hadoop和大資料市場規模約在340億美金左右，且5年複合年增長率高達28.5%。隨著金融行業數字化轉型的深度推進，金融機構對大資料依賴性越來越強，大資料平臺的這塊市場蛋糕還會越來越大。
擁有國產化大資料平臺的技術廠商帶著新的產品進入市場，對金融行業而言是必然選擇，率先佈局的金融機構有望更早佔得先機。