在資料資產化初見成效後，接下來企業就需要落實資料共享和配套的資料分析工具，讓更多業務部門或組織可以使用這些資料資源或資料資產。那麼如何利用這些資料資產對內賦能業務運營、對外創造市場價值？本篇將介紹資料共享與分析、資料產品對內的業務運營和對外的價值創造。
在資料資產化初見成效後，接下來企業就需要落實資料共享和配套的資料分析工具，讓更多業務部門或組織可以使用這些資料資源或資料資產，開始一些資料分析類工作，以及後續的資料產品開發工作。
這個階段的平臺建設工作非常重要，它是打通資料服務能力的第一階段，在不同的行業有不同的建設側重點，一般包括面向特定業務部門以裸資料直接提供的資料集市、按照企業內多個業務屬性規劃的已經加工好大量資料服務的資料中臺、面向資料分析人員提供的按需做資料探索並且有更嚴格的資料安全管理的資料共享平臺或共享實驗室，以及配套的分析工具平臺建設如資料科學平臺、BI分析工具等。
|
|
|
|
|
|
|
|
|
|
|
|
由分析師申請或訂閱，管理部門審批，完成各種管控後推送 |
|
|
|
|
更多以資料產品的方式交付，以API、DaaS服務等方式交付 |
在資料產品中靈活使用，一般需要標籤、指標、API工具配合 |
銀行類企業的數字化建設從本世紀初左右開始，最早採用了基於MPP資料庫的資料倉儲的建設，配套重要的業務建設獨立的資料集市，或者直接在MPP資料庫中建設資料集市。隨著資料分析業務的增加和資料科學類業務的興起，銀行業開始基於大資料平臺來建設資料倉儲或資料湖，再配套獨立的資料實驗室給資料科學團隊做業務探索，為一些重要的業務部門（如監管、審計、風險等）建設資料集市，並且科技部門都在嘗試建設資料中臺，為零售、同業、對公等業務賦能。大型商業銀行科技部門的系統建設都相對完善，也具備有較好的可參考性。最近幾年，隨著各個業務系統的複雜度和工作負載的持續增加，大型銀行開始採用雲原生的方式以多租戶技術來做整體系統的資源管理，逐步形成了下圖的整體資料共享分析的架構。
值得一提的是，由於部分資料分析業務可能會有臨時性的對某些未載入到資料湖或倉庫中的資料做整合分析或機器學習建模，近年來資料聯邦分析技術又逐漸興起，一般是透過一個支援資料聯邦的SQL計算引擎為資料分析人員提供開發入口，而這個計算引擎可以同時對接包括資料湖和一些資料庫在內不同的資料來源，甚至可以支援兩個不同資料庫系統間的資料關聯等計算任務。這種方式可以讓資料分析人員無需關注底層資料架構的異構特性，而資料管理人員也無需針對各種臨時的資料分析任務而將所有資料都事先整合到資料湖中，因此總體上提高了工作的靈活性。
從企業資料平臺的建設視角來看，這個階段的平臺需要提供資料科學建模工具或平臺，開放給業務部門按需的部署和使用；需要提供報表工具給資料分析人員，同時提供分析型資料庫，從而提供資料集市的支撐能力。從資料管理的視角，資料平臺建設方還需要建設系統來提供便利的資料出湖和資料匯入集市的能力，並且在這個流程中落實資料的安全管控。如果業務部門的業務發展比較快，有大量Ad-hoc的資料分析任務，提供資料聯邦分析的能力也是一個需要非常普遍的需求。
除基礎平臺的建設外，企業的業務部門需要建設資料分析的能力，以滿足資料業務化的要求，這包括BI分析能力、資料建模能力、資料指標與標籤開發能力。如果業務部門沒有足夠的分析人員可以建設這方面的要求，可以採用委託科技部門或外包等方式來建設這部分能力。
—
資料產品開發和對內運營構建資料中臺
—
資料產品指的是已經完成各種資料加工、分析、建模之後形成的可以被業務應用直接使用的產品或應用，其物理上可以是包括資料API、資料指標標籤、AI推理模型、資料集以及基礎資料庫在內組合而成的獨立服務，有自己的開發和釋出管控流程，有獨立的技術架構要求和運維要求。在數字化程度比較高的行業，一些典型的資料產品落地案例如行業知識圖譜、輿情分析產品、政府的一網通辦類產品、金融行業的萬德資料等。而在另外一些行業，即使其數字化起步較晚，但是由於資料賦能業務的鏈路比較短（如工業製造的智慧運維和機器人質檢等），或者受限於企業內的資料科技人員數量限制，更好的資料賦能業務的方式是直接提供一些資料產品給業務方可以直接使用，因此可以在規劃的時候就及早開始做相關的投入。在我們的定義裡，資料中臺是承載資料產品的開發與運營的系統。
資料產品的開發過程本質上就是一個軟體開發配套資料開發與分析的過程，因此其過程管理上可以採用軟體過程管理的方法論，需要配合建設應用開發平臺、CICD技術體系，以及用於最終資料產品釋出與分發的平臺（一般叫做應用市場）。一些企業會自建一個資料產品的開發平臺，可以將各種資料包表、資料指標等內部資料，配合外採的一些分析報告或資料API，採用低程式碼或者無程式碼的方式將其組合為一個資料產品，並允許多租戶的方式為不同部門提供SaaS服務。
Salesforce Einstein是一個非常成功的資料產品開發平臺，它允許使用者透過各種資料集或報表來定義自己的User Story，並且資料可以透過實時計算和AI驅動，每個使用者都可以有自己的產品介面，無需關注底層的資料複雜架構。低程式碼平臺是另外一個可以被用於資料產品開發的技術，它能夠讓使用者快速完成資料驅動的流程設計、流程管理、審批過程控制、組織結構關聯以及產品釋出等過程，能夠縮短從“一個想法”到“一個demo”的交付時間，可以用於一些時間要求比較緊迫的中小型資料產品的開發。
除了一些新型的面向互動式分析的資料產品，更多的還是常規的資料應用開發，即基於微服務或Java中介軟體等方式來開發的企業級應用，只是其這些應用的不再是使用者點選驅動的流程變化，而是資料變化帶動的狀態機變更。對這類資料密集型的應用，其開發過程總體上還是常規的軟體開發過程，需要有應用開發平臺和CICD流程，需要有配套用於內部應用開發過程的質量管理、安全管理、配置管理等過程管理和流程。在應用的釋出上，由於資料產品需要讓企業不同區域的員工都可以直接使用，因此釋出系統需要支援企業自身的多資料中心或混合雲架構，甚至是邊緣端。舉個例子，在國內總部開發的數字化驅動的考核系統，需要能夠執行在海外分支結構的資料中心內部；同樣總部研發的新的運維模型，能夠便捷的釋出到終端的裝置或工控機上，這要求應用開發平臺有很好的應用釋出能力。
在資料產品的運營上，企業可以透過建設一個資料應用市場讓開發者和使用者都能快速找到相關的資料應用或產品。這些產品可以按照面向SaaS或DaaS模式來區分，也可以按照面向終端使用者、資料產品開發者、資料分析人員等不同的使用者來區分，方便不同的使用者按照其需求來發現和理解產品，也讓更多的開發者和分析人員來貢獻資料產品，從而逐步打通內部的運營閉環。
—
資料產品對外的價值創造實現資料資本化
—
資料要素市場是國家十四五的一個重要的數字化方向，對於一些資料資源非常豐富，或者本身是一個平臺型運營的企業，亦或者是專門為資料要素市場設立的各地方資料交易所等，他們的企業資料產品不僅可以對內提高運營效率，還可以直接對外部企業或生態內企業賦能，直接創造資料相關的收入，將資料價值化更加直接的體現出來，達到資料資本化階段，甚至可以併入企業財務報表中。
國外資料交易平臺以企業建立為主導，有資料提供方供應資料、網路爬蟲、政府公開資料、資料社群提供資料以及傳統方式線下收集資料等資料來源方式。資料社群是若干個社會群體或組織聚集在大資料領域內形成的一個相互關聯、相互溝通的大集體，透過資料社群可以及時瞭解使用者需求，更新資料。國外資料社群為交易平臺提供資料，促進了資料交易平臺的發展，而國內此種方式較為少見。國外資料交易平臺有Factual、BDEX、Azure、Qlik Data market等以企業自主建立平臺為主。交易平臺的產品型別有API、資料包、解決方案、資料產品、雲服務等，且具有不同平臺針對不同領域資料的獨有性、專業性等特點。交易平臺會對賣方資料進行篩選、分類等工作。
我國資料交易市場還處於初期階段，並率先提出資料要素這一概念，資料在賦能其他要素後，其價值可以數倍發展。據相關資料預測顯示，到2025年我國資料交易市場規模將達到500億元，未來的市場規模還會更大。資料交易平臺在交易過程中，首先要解決效率問題，比如一家企業需要資料資源，在傳統模式下，需要對接不同的資料資源，效率不高，而透過資料交易中心平臺，可以獲得更多源的資料，對資料提供方而言，透過資料交易平臺，可以找到很多個潛在的客戶，同樣也可以提升效率；其次是要解決合規的問題，資料交易中心是強監管的運營模式，其目的是確保在平臺上交易的資料都是合規合法的。目前國內資料交易多是在政府為主導的資料交易平臺進行。交易平臺的產品型別有API、資料包、解決方案、資料產品、雲服務等，平臺交易資料型別種類較多，相對於國外資料種類多但不精。
一些平臺型企業的供應鏈或者投資佈局內有大量的生態企業，為了更好的完善供應鏈管理或者完善投資生態，一個比較可行的方式是構建一個系統性的資料驅動的應用平臺，生態類企業在這個平臺上按照管理要求來打通業務流程和資料互動，讓各方直接做到業務和資料協同，這樣平臺型企業就可以基於資料的能力來做更多的業務最佳化，如最佳化供應鏈過程、發展供應鏈金融等新業務，提供企業的經營效率或開創新業務場景。一些典型的案例包括各地的產業叢集、大型央國企、行業監管機構和被監管企業、投資性集團公司等，行業內都已經形成了一些典型案例。當然，平臺企業和生態類企業的資料互通並不是直接的原始資料交換，而是基於類似資料交易所的企業間資料合規流通的方式，甚至是透過隱私計算等新技術來落地。
回到技術上，要完成這類業務價值也需要一個強大的資料共享運營平臺來支撐，並且這個階段的核心是建立信任，因此資料安全與合規是平臺建設的重點。近年來行業也陸續摸索出來一些可行的落地實施方案，包括雲上的資料沙箱和私有化的資料一體機，此外需要配套資料合規與隱私計算平臺，解決資料流通中的資料合規問題。
資料沙箱是資料提供方向資料需求方提供的一套封閉的資料開發環境，滿足企業內部和企業間的共享場景，透過資料庫安全、資料內容安全、基礎設施安全全方位保障資料可入不可出，解決提供方不願不敢不能將資料開放給需求方使用的問題，實現資料在合規合法的條件下安全開放共享。
資料沙箱可以被用於企業內部的資料創新實驗室、集團類企業對內對外的開放，以及企業間或資料交易所的開放場景中，而且需要配套一些跟資料產品本身敏感性相關的合規和安全管理策
略，從而提供足夠的安全性並滿足合規要求。
|
|
|
|
|
-
資料庫安全：支援資料庫的認證與授權，根據資料安全策略實現靜態與動態脫敏、SQL 稽核等，實現資料訪問控制，可定期清理回收資料
-
基礎設施安全：根據網路安全策略實現元件訪問白名單，實現底層元件訪問控制（資料庫、分析工具等元件）
|
|
|
-
根據使用者對不同安全隔離性的要求，可提供租戶隔離、資料沙箱隔離、沙箱空間隔離三種漸進式隔離能力
-
可控制租戶資源配額、資料沙箱資源配額和沙箱空間資源配額，合理分配使用計算與儲存資源，當使用資源超過配額，則需攔截並提示告警
|
|
|
-
-
資料沙箱可註冊已部署的開發分析工具，無需重複部署，從而節省資源；也可為沙箱部署一套新的開發分析工具，滿足安全隔離需求。可相容不同叢集規模和安全隔離要求場景
|
|
|
-
資料沙箱預設提供 SQL 開發、程式設計式建模、視覺化三大分析能力
-
|
|
|
|
隨著對外
共享開放資料集數量的增加，一級資料開發的範圍擴大，企業需要建設資料安全與合規檢測系統，可持續不斷的對開發治理好的資料資源進行分類檢測，為每份資料資源標記資料分類情況，標記資料的安全開放等級。同時，資料審計模組可對資料的使用進行詳細審計，可回溯資料使用的全部記錄。為了保障資料在儲存和使用中的安全合規，該系統需要提供資料分類分級、資料安全策略中心、個人資訊去標識化、資料監測與審計等幾個核心能力。
為了實現資料業務安全合規，企業除了構建圍繞資料生命週期的安全技術之外，需要有一個資料安全合規建設體系去指導相關部門進行落地。資料安全合規建議的流程機制如下：
首先企業要定期對資料資產進行分類分級，及時發現全量以及增量的個人敏感資料、重要資料等，對敏感資料的分佈做到心裡有數。然後要深入生產活動，對資料安全生命週期進行安全評估，發現資料安全風險並量化風險等級。基於上述步驟梳理的不同安全風險等級的資料，有針對性的進行資料安全能力建設，包括IT能力建設、組織與制度建設等。最後要形成一個持續的資料安全運營體系，包括日常的管理、監控、應急處置。同時還要持續的評估安全能力建設狀況，查漏補缺，持續迭代，逐步達到安全合規。
—
小結
—
我們用了三篇的篇幅介紹了從基礎的資料儲存算力、資料資產化、資料共享與分析、對內賦能運營和對外創造價值等五個建設階段。至此，相信大家對構建企業資料平臺各階段的重點已心中有數。從下篇開始，我們將深入底層技術，為大家介紹幾大主流的分散式技術，敬請期待。
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69994106/viewspace-2944090/，如需轉載，請註明出處，否則將追究法律責任。
