軟體定義儲存加碼資料治理 助推金融機構數字化轉型

當前，伴隨資訊科技的持續變革與發展，以數字經濟為代表的新經濟將成為發展新動能。以雲端計算、大資料、人工智慧等為代表的數字技術不斷湧現，快速向經濟社會各領域融合滲透。以資料為核心的數字化轉型已是大勢所趨。金融業是資料密集型行業，在生產經營過程中積累了海量的資料資源，對資料資產進行管理、應用、治理成為金融機構探索和實踐的重要方向。在本篇文章中，我們將結合金融機構在資料治理過程中的具體實踐，一起探討軟體定義儲存技術能夠在資料治理體系中發揮怎樣的價值。

金融機構數字化轉型中資料治理的困難與挑戰

金融機構作為數字化轉型的親身實踐者，在過去的實踐中積累了較為豐富的資料治理經驗。但是面對資料的海量增長，如何科學地管理和使用資料，“盤活”資料價值，使經濟利益和社會效益最大化，依然面臨著諸多困難與挑戰。

困難一、缺乏統一資料檢視，難以發現價值資料

由於歷史原因，多數金融機構的資料資源散落在多個業務系統中，缺乏統一的資料檢視，管理人員和業務人員無法及時感知資料分佈情況，無法快速找到符合自己需求的資料，也無法發現有價值的資料並納入資料資產。

困難二、資料孤島普遍存在，跨業務共享效率低

金融機構將資料作為戰略性資源，因資料共享機制不完善、各機構資料介面不統一等問題，導致資料難以互聯互通，形成“資料煙囪”，不利於開放共享。

困難三、資料質量低下，業務決策根基不牢

資料質量是金融服務與創新的重要基礎。由於缺乏完善的資料治理體系，金融機構在資料採集、儲存、處理等環節存在不科學、不規範等問題，無法確保資料的完整性和準確性。

困難四、科技研發投入不足，資料場景融合不足

金融機構的資料規模十分龐大，從中挖掘高價值、關聯性強的高質量資料，需要高效的資訊科技支撐和可靠的基礎設施保障。然而，部分機構科技研發投入相對不足，導致海量資料資源無法盤活，資料價值難以充分釋放。

困難五、缺乏安全的資料環境，資料流程存在風險

倘若擁有龐大的資料資源，但缺乏安全的資料環境，同樣危險重重。常見的安全風險包括資料洩露、資料濫用等，潛藏在資料的採集、儲存、共享等各個流程中。

困難六、缺乏資料治理體系，資料“不善用、不盡用”

部分金融機構尚未建立起有效管理和應用資料的模式，對資料服務和應用缺乏合規性指導。由於法律法規尚不健全、資料治理體系還不完善、機構合規意識不足，資料“不善用”的問題突出，過度採集資料、違規使用資料、非法交易資料等問題屢見不鮮。

概括而言，一是資料組織形態和架構的問題，即如何將資料納入統一檢視、讓資料跨業務共享；二是資料管理策略和安全的問題，即如何提高資料的質量、深化資料與應用的融合、保障資料環境的安全；三是資料價值發現的問題，即如何釋放資料價值。

面對上述困難和挑戰，金融機構如何解困破局、實現資料有序治理和高效利用，探索資料治理之“道”成為迫在眉睫的問題。

三大策略指引金融機構從資料管理到資料治理轉型跨越

針對以上困難和挑戰，金融機構如何制定資料治理策略、完善資料治理體系、做好資料資產管理和價值評估至關重要。所謂資料治理，就是處理資料的策略，即如何儲存、訪問、驗證、保護和使用資料。資料治理必須涵蓋資料的全生命週期，即從資料的獲取、儲存到管理、應用再到歸檔、刪除的全流程。

按照資料生命週期的特點，可以將資料治理策略分為三個部分，即資料的獲取和 、資料的管理和安全、資料價值的釋放。

策略一、資料的獲取和儲存

資料生命週期管理的起點，是資料的獲取和儲存，這也是資料治理最先面對的環節。若要解決統一檢視、跨業務共享的問題，需要對資料資源制定標準、建立模型，並確定後設資料和主資料的儲存方式，可概括為資料標準管理、資料模型管理、後設資料管理、主資料管理四個方面。

資料標準管理可確保大資料平臺資料的完整性、有效性、一致性、規範性，推動資料共享開放。資料模型管理將所有資料納入統一檢視，便於資料整合。後設資料管理實現關鍵資訊的追蹤、記錄和快速檢索。主資料管理實現跨系統使用一致的和共享的主資料，降低成本和複雜度。

策略二、資料的管理和安全

如何對資料進行管理、評估和共享呢？這便進入資料治理的第二階段，即資料的管理和安全，該階段的主要措施可概括為質量管理、安全管理、共享管理等三個方面。

質量管理幫助金融機構獲得乾淨、結構清晰的資料，極大提升資料質量；安全管理確保資料資產在“存、管、用”等環節中的安全，做到“事前可管、事中可控、事後可查”；資料共享管理透過搭建統一共享平臺，打通跨部門共享瓶頸，提高利用價值。

策略三、資料價值的釋放

資料治理的最終目的是釋放資料價值。資料價值管理是資料治理體系中的關鍵環節，是對資料內在價值的度量，主要從資料資產的分類、使用頻次、使用物件、使用效果等方面計量。資料價值管理可以實現資料成本的有效控制，最佳化資料服務方式，提高資料應用價值。

以上各個環節之間環環相扣，只有緊密協同才能發揮更大作用。完善的資料治理體系幫助金融機構找準高質量資料、深挖高價值資料，最終實現資料資產效益最大化的目標，解決金融機構的資料治理之“困”。

軟體定義儲存助力資料治理體系建設

為構建資料治理體系，金融機構不僅要結合業務需求合理規劃，更要依託資訊科技梳理資料內容、安全儲存資料、高效利用資料，儲存系統必然是重要支撐。

現階段，多數金融機構傾向於透過搭建資料湖（Data Lake）來儲存包括結構化、半結構化、非結構化資料在內的資料資源，以供上層呼叫。這樣一來， （Software Defined Storage，簡稱SDS）在金融機構資料治理體系中，無疑扮演著重要角色。那麼，什麼是軟體定義儲存？軟體定義儲存、資料湖、資料治理之間有何關係呢？

本質上，軟體定義儲存是提供儲存功能和特性的軟體，它將資料從硬體架構上解放出來，使使用者專注於資料蘊含的價值。軟體定義儲存透過統一的虛擬管理平臺，與前端應用、管理程式、物理空間進行互動，極大簡化資料管理。資料湖是以自然格式儲存的資料的系統，一般包括結構化資料、半結構化資料、非結構化資料和二進位制資料等全部原始資料資源。簡而言之，要實現資料儲存和管理的最佳化，基於軟體定義儲存搭建統一資料湖無疑是極佳的選擇。

 

圖1：基於SDS的資料管理架構圖

軟體定義儲存以分散式架構、彈性擴充套件、海量資料支撐、管理運維簡單等優勢，幫助金融機構搭建穩定可靠的資料平臺，輕鬆實現 和管理，依靠AI後處理框架挖掘資料價值，成為金融機構治理資料的好幫手。主要體現在以下幾個方面：

優勢一、解決海量儲存需求

針對金融機構缺乏統一資料檢視、存在資料孤島等問題，軟體定義儲存因其抽象化、池化等特性，從根本上解決了這類問題。軟硬體解耦使得儲存軟體不再依賴於專有硬體；透過虛擬化，將物理儲存空間虛擬成統一資源池，建立統一名稱空間，構建多業務共享的資料湖；

其全分散式架構，彈性擴充套件靈活，支撐EB級容量，滿足金融機構對容量、效能等需求。

優勢二：解決智慧管理需求

軟體定義儲存提供豐富的API，根據業務應用要求，自動按需部署儲存資源，實現基於儲存策略的自動化管理目標，極大地簡化管理，節省基礎設施投入，降低運維成本。其自定義管理的策略，實現生命週期自動化管理；透過智慧快取、資料分層等特性，讓儲存介質“物盡其用”，在資料訪問效能和儲存成本之間實現平衡。

優勢三：解決釋放資料價值需求

伴隨AI技術的興起，資料治理開始向“智慧化”轉變。與傳統儲存不同，軟體定義儲存能夠實現內容感知，配合前端應用對海量資料進行大資料分析和價值挖掘。以杉巖資料為例，其物件儲存產品中整合了AI後處理框架，支援包括OCR識別、人臉識別、語音識別等AI外掛，幫助金融客戶更好的實現AI賦能和價值挖掘；同時還支援 Hadoop、Spark等大資料分析系統，充分釋放資料價值。

面對諸多難題，軟體定義儲存幫助金融機構打造智慧化的資料治理平臺，解決資料的儲存、管理、共享等一系列問題，極大地提升資料治理水平，為數字化轉型提供有力支撐。

資料中臺解決方案助推金融機構數字化轉型

在金融機構數字化轉型中，每家機構業務基礎不同、戰略重點不同，數字化轉型中是不能套用一套模板的，需結合宏觀架構和具體應用場景進而深入融合，才能助力金融機構在全面數字化轉型中夯實“科技+開放”能力，與金融機構共建數字金融快車道，提升金融服務實體產業的質效。 就是這樣一個代表性的方案。

圖2：金融非結構化資料中臺解決方案拓撲圖

 

資料中臺解決方案，以軟體定義儲存作為能力後臺，為資料中臺提供儲存支撐。基於分散式架構搭建統一儲存池；透過生命週期管理、智慧QoS等實現自動化管理；整合AI後處理框架，整合金融機構的 AI 能力，將資料價值最大化釋放，為金融機構提供資料治理的技術支撐。

資料中臺解決方案能夠幫助金融機構解決資料孤島、實現資料有序治理和高效利用。

一.實現能力平臺化，使資料的儲存、共享趨於服務化。面對需求變化，快速響應開發，透過資料與應用深度融合實現一次處理、多處應用，避免重複開發帶來的效率損失。

二.解決資料孤島問題。可實現跨業務檢索、資料共享更加便捷，便於資料整合分析。解決業務效能彈性擴充套件，輕鬆支撐EB級容量、百億檔案高併發訪問。

三.實現統一的基礎設施資源管控，讓資料治理更加場景化、模式化、體系化、標準化。統一的資料管理，保障資料完整性、準確性和一致性，減少重複收集造成的資源浪費和資料冗餘。資料的規範共享，提升資料利用效率和應用水平，實現資料多向賦能。

金融科技蓬勃發展，金融業正處於以科技賦能實現發展、大變革的關鍵時期。資料作為戰略資源，加快資料治理程式、完善資料治理體系已經成為金融機構的重要工作。資料治理的核心環節是資料應用，要從算力、儲存、網路等維度加強技術支撐，切實增強資料應用能力。對儲存而言，探索、交叉融合、資料安全等資料儲存方案是穩步推動分散式資料庫金融應用的基石，實現資料高效儲存和智慧管理是目標。

在金融科技驅動的數字化轉型程式中，一些金融機構已取得突破，如：中國金融認證中心、廣發證券、中國人民保險、招行信諾等，基於資料驅動業務發展需求，採用資料中臺解決方案，提升了一站式技術能力、統一資料管理能力、快速配置開發業務能力，透過數字化轉型帶來了資料融合和技術融合，滿足了資料中臺的建設需求。

金融業的數字化轉型的快速發展，離不開像華為、杉巖資料等雲端計算企業，大家深刻認識資料資源對金融業數字化轉型的重要意義，切實助力金融業把資料儲存、管理、應用做到按需規劃，推動金融業向數字化的落地。國產自主研發的軟體定義儲存作為資料儲存+資料共享的平臺，為金融業提供了更快的效能、更高的靈活性和開放性、更強的擴充套件性，實現更便捷的管理、更簡單的運維以及更少的投入，幫助金融機構“資料治理”駛入快車道。

（文/ 杉巖資料CTO  邱尚高）