資料管理治理的發展趨勢

前，資料驅動型業務戰略與資訊產品的潛力比以往任何時候都要大。對於多數企業機構而言，資料分析與管理已成為它們業務戰略的重要驅動力。資料分析與管理領導者正在通過挖掘資料價值來驅動數字化轉型、創造盈利機會、改善客戶體驗和重塑行業格局。

隨著雲、本地、邊緣間的界限逐漸消失，資料管理的未來可以用四個關鍵詞來描述。

四大關鍵字

首先是分散式(Distributed)，未來的資料管理將是分散式的，因為資料管理須隨資料所在的位置而進行。

其次是無伺服器(Serverless)，此概念較特殊、並不是指未來的資料管理不再需要伺服器，而是指未來將沒有一個明確的集中式伺服器。

再者是協調(Orchestrated)，今天的資料會產生在不同的地方和裝置上，所以須把它們協調管理。

最後就是後設資料(Metadata)，無論資料分散在何處，後設資料均能把它們協調在一起，因此後設資料是未來資料管理中非常重要的一個元素。

三大維度

總體而言，資料管理的未來發展趨勢可從三個維度來看——架構的改變、技術的轉變以及組織的衍化。

1架構的改變(Architecture Shifts)

Gartner於2018年針對資料和分析的採用趨勢進行了一項調查(多選題)。結果顯示企業機構目前使用最普遍的資訊基礎架構技術為“基於雲平臺的資料儲存”(63%)。

一些傳統技術，例如資料倉儲(Data Warehouse)和資料庫管理系統(DBMS)仍然佔著相當大的比重。這些傳統技術在未來並不會消失。

舉例而言，“資料倉儲”是一個非常廣泛的案例，未來資料的研究和分析都將需要用到該技術——主要配合在特定案例和場合中使用。

此外，未來還將有諸如“資料目錄”(Data Catalogs)這樣的技術被廣泛使用。

“資料目錄”是後設資料的重要基礎，以往“資料目錄”主要用於幫助企業機構瞭解資料的定義和來源，但現在的趨勢是“資料目錄”可以幫助企業機構瞭解資料的特性、使用者以及使用場景。

因此，在資料管理的未來趨勢中，“資料目錄”將具有舉足輕重的地位。

此外，資料湖(Date Lake)已從此前放置在內部資料中心中轉變為目前可放在雲端上，這是一個非常大的變化，未來諸如此類比較高階的技術均可以移至雲平臺之上。

1)重“關聯”、輕“採集”

從上述調查背景可以看出，未來的資料管理和整合將會變得更加“關聯”(Connect)，更少“採集”(Collect)。

當前，在資料管理上，企業機構通常重“採集”、輕“關聯”，此情形在中國尤為嚴重——即企業機構在採集和儲存資料後，並不能立即挖掘其中的價值，失去其時效性。

原因在於，從資料被“採集”到應用其價值，這中間有相當長的流程(如上左圖所示)，包括描述、整理、整合、分享、治理和實施。這一長串流程對企業機構內部IT技術具有相當大的考驗。

隨著機器學習技術的引入和後設資料的應用，目前資料管理和整合已開始呈現出一種新趨勢，即更加註重資料的“關聯”(如上右圖所示)，也就是指無論資料是在本地、雲端、某個裝置感應器上或任何地方，我們都可以在資料保留在原地的情況下，將它們關聯起來，而無須採集到特定地方。

在未來增強式的資料管理的環境中，自動發掘資料、透過機器自動意識識別資料中的價值、認定有價值的資料、分析資料、自動採用適合資料的安全措施、分享資料、優化資料，最終實現在最短時間內將精準的資料傳送給對的人，對於企業機構至關重要。

2)“移動性資料”成為主要案例

資料管理與整合方面的另一個趨勢是“移動性資料”(Data in Motion)。

以往，諸如交易產生後，企業機構便把資料儲存進資料庫或資料中心內，後續任務即製作報表等工作，這類的資料被稱為“靜態型”。

“移動性資料”指的是在交易過程中，企業機構就可以看到實時的資料處理——無論資料處在邊緣裝置還是在資料中心內。資料始終是資料商用平臺的核心所在。

3)集中式、分散式、隨機式資料治理並存

與資料管理(Data Management)不同，資料治理(Data Governance)注重資料的使用者、使用方式、使用許可權的合規性制定。

未來的“資料治理”將會非常動態——可以是集中式、分散式，亦可是隨機式。“隨機式”是指企業機構可以通過機器學習來增強資料內容以及評估用例。

舉例而言，某件物品在首次被海關征收關稅時，海關可能不知如何“治理”它。但“機器學習”引擎可以自動分辨該物品的屬性，進而據此自動幫助海關生成此件物品應該遵循的“治理”規則。

4)後設資料是未來資料管理的關鍵

企業機構的資料來源不僅多種多樣(包括ERP、CRM、SCM和HCM)，且用途極為廣泛(可用於外部供應商、客戶與合作伙伴，呈現方式包括圖表、報表和指示板)。

將這些來源與用途連線起來——即連通無伺服器程式(Serverless Processes)和物理合並(Physical Consolidation)的關鍵橋樑就是後設資料。

2技術的轉變(Technology Changes)

Gartner預計，在2021年之前，能夠採用資料中心、資料湖或者資料倉儲這種統一戰略的企業機構，將比競爭對手多出30%的使用案例。

此外，在2023年之前，75%的資料庫將遷移至雲平臺上，此舉意味著減少資料庫管理系統供應商的規模並且增加資料治理和整合的複雜性。

1)人工智慧讓資料管理軟體的執行更加流暢

現在，人工智慧可以幫助企業機構增強資料管理。事實上，資料管理技術的未來就是人工智慧和機器學習的應用。

具體而言，有以下四方面：

第一是資料質量(Data Quality)。目前市場上有很多供應商都是在用機器學習的方式幫助企業機構擴充套件和增強資料的分析、清理、連線、識別、語義協調和重組。企業機構在不同資料來源中管理主資料質量以往需要人為操作、費時費力，而機器學習可以使這一整串流程變得完全自動化，且準確率明顯提高。

第二是主資料管理(Master Data Management)。機器學習可以幫助企業機構配置和優化主資料，尤其在記錄匹配和演算法融合方面，機器學習可以讓企業機構對主資料的管理更加便利。

第三是資料整合(Data Integration)。人工智慧可以通過升級多個相同模式並根據語義分析，向企業機構告知資料來源的相關性，推薦企業機構將相同的資料來源進行連線，最終使得資料整合的流程更加簡化。

第四是資料庫管理系統(DataBase Management System)。人工智慧技術的引入將使資料庫從儲存、索引、分割槽到調整、優化、修補——這一系列繁瑣的人工流程變得更加自動化。

2)動態後設資料創造“自我驅動型”資料管理

機器學習和人工智慧是一個後端底層技術，諸如效能分析等更多資料管理工作的完成還需動態後設資料的支援。後設資料專門用於描述資料的特質，幫助企業機構將不同的資料進行關聯並做推薦。

以資料分析為例，企業機構在定義資料的相關性時，動態後設資料就會起到中間凝合力的作用。

3)開源軟體收益與風險的平衡

提及開源，一般想到的是總擁有成本(TCO)很低、企業機構的回本速度很快。

雖然企業機構有時無法通過開源軟體(OSS)得到所需支援，但目前市場上已有很多商業軟體包可給予幫助。

其次，若企業機構需要研發創新並保持靈活性，那麼開源軟體應是首要選擇。

再者，據Gartner調查，全球90%的企業機構已把開源軟體用在任務關鍵型的IT流程中。

最後，企業機構應把服務水平協議與商業供應商的平衡性放入自身的資料管理策略考量中。

3組織的衍化(Organization Evolves)

Gartner預測，到2022年之前，使用動態後設資料去連線、優化、自動化資料整合流程的企業機構將減少30%的資料交付的時間。

此外，到2023年之前，在資料管理中使用人工智慧技術能夠幫助企業機構進行更多的自動化工作，因此這些企業機構對於IT專業人士的需求將減少20%。

1)自動化資料與分析工作即將來臨

Gartner就資料分析工作的自動化優先順序進行過一項調研。調研結果顯示，資料整合(Data Integration)排名第一，因為其最費時間也最易出錯。

此外，機器學習相關技術的研發需要進行大量前期的資料準備(Data Preparation)。Gartner預計資料科學家大約需要花費70%到80%的時間進行資料準備。

因此，若資料準備無法進行自動化，那麼專案交付的時間就會極其漫長。

2)人機聯盟：少花錢、多做事

未來，資料整合工作需要人與機器共同完成。資料存在不同的埠且數量龐大，因此單獨的人力難以進行處理、需有工具進行支援。未來，這種工具將引入人工智慧與機器學習技術，讓人力做不到或短期內無法實現的工作變成現實。

與此同時，此前從事這類工作的IT工程師將可騰出時間去做更多、更重要的事情。

3)後設資料與資料管理架構緊密貼合

後設資料的管理平臺上有很多引擎，有些可以根據資料目錄，即目前所儲存的資料資訊，自動地發現企業機構目前架構中有哪些資料來源還未掌控，然後進行處理。

後設資料有兩種維度——度量(Metrics)與語義(Meaning)。

以往，企業機構做得更多的是語義，但在未來後設資料的管理上，兩者具有同等重要性，甚至“度量”的地位更高，因為它可以根據此前類似資料的整合方式自動進行資料探勘和規劃。

4)資料管理新角色不斷湧現

Gartner針對“企業機構目前及2020前的資料管理職位”進行過調研，結果如上圖所示。其中，需重點強調的是資料管家(Data Steward)。“資料管家”在未來的資料管理工作中佔有極其重要的地位。

當前，企業機構已經意識到自己的資料來源變得更多、資料使用案例變得更為複雜，在此情況下，它們需要新的崗位去應對挑戰。

但需強調的是，每個企業機構都有自己不同的戰略，它們需要根據預測的業務結果來應用不同的技能、設定不同的資料管理崗位。