數字化轉型將資料作為重要的資源和決策依據，透過收集、加工、分析和利用大資料，來最佳化業務流程和支撐業務決策。中國信通院在“2023資料資產管理大會”上分享了資料管理發展的六大趨勢，其中認為“DataOps將打造資料開發治理融合的新正規化”“資料編織塑造下一代資料架構”。那麼，為何需要DataOps，基於DataOps的研發工藝有何過人之處和具體實踐？基於Data Fabric的新一代資料倉儲更“靈活”更“柔”？Data Fabric落地關鍵能力和應用場景有哪些？本期Gien享匯影片由中電金信資料資產平臺產品架構師、資深技術專家戴永恆向大家解密。
1. 高效、靈活、安全：資料管理的發展趨勢
數字化轉型將資料作為重要的資源和決策依據，資料資源最重要的承載就是資料倉儲。從系統架構及核心引擎角度來看，資料倉儲從第一代的單機分型資料庫、第二代傳統MPP資料倉儲演進為融合大資料技術的湖倉一體的實時數倉，以及雲原生數倉。從資料管理和開發軟體視角來看，資料倉儲從工具化向流程化、自動化、智慧化階段演進，每個階段都有代表性的資料管理產品，讓資料管理更高效、靈活和安全。
2. 資料工程的工藝化：基於DataOps的研發工藝管理
關於DataOps業內有很多理解，中電金信用”工藝化“來形容，強調資料產品研發過程的自動化、規範化和價值化，以保證研發的速度、質量與效率。
具體實施工藝如下：
· 研發速度：構建自動化的資料產品研發工具鏈路，利用工具提升研發速度，且發展智慧化工具。
· 研發質量：構建規範化的資料產品研發工程工藝，利用工藝保障研發質量，且發展智慧化工藝。
· 研發成效：構建費效化的資料產品研發價值度量，利用量化提高研發成效，且發展智慧化度量。
源啟資料資產平臺就是這樣的產品，將DataOps融合到從開發需求到資產運營的整個資料研發流程，在每一個研發階段匹配自動化的研發工具，再將原始需求撰寫、加工需求評審、資料模型設計等研發過程規範化，將以人為主的資料交付模式升級為以“流程+工具”為主的資料交付模式。
3. 從剛性走向柔性：基於Data Fabric的新一代資料倉儲
“柔性”資料倉儲的兩大支柱一是讓資料更靈活的NL2SQL，二是邏輯數倉，兩者融合起來才能實現更為靈活的資料倉儲。基於Data Fabric的新一代“柔性”資料倉儲能夠更靈活地適應業務的快速發展，讓各類指標得到即時響應和生成。
