談談主資料管理MDM未來的6個主要趨勢

來源：資料驅動智慧

在人工智慧驅動的世界中，您的主資料管理(MDM)之旅是否走在正確的軌道上？您是否專注於透過機器學習增強MDM平臺？LLM和MDM的相關性如何？讓我們將所有這些問題放在上下文中並回答它們......

主資料管理——自2000年以來的發展情況

業務利益相關者需要乾淨、有意義且值得信賴的資料，以幫助他們自信地推動業務決策。主資料管理是一種資料架構，它提供了一個平臺來管理資料的質量、訪問和所有權。它有助於將主資料工具中的正確資料實體整合到ERP、CRM、HR、財務或資料倉儲、報告或BI系統等組織內部的相應目標或業務線中。目標也可以是組織外部的，例如與資料池聯合，例如全球資料同步網路—GDSN（例如：1WorldSync、GS1-Net等）或電子商務網站，或第三方供應商、貿易合作伙伴等。

有多種可用的MDM工具和平臺，其中大多數都載入了主資料功能。這些領域中著名的領導者和參與者有石化盈科、三維、零三科技、用友、金蝶、SAP、Informatica、Semarchy、Stibo、Reltio、Profisee、PiLog和Syndigo。如果您是新買家，您可以考慮將石化盈科MDM評估為全面的MDM工具，從功能和整體潛力來看，它是滿足所有MDM需求的平臺。然而，以下內容是對MDM趨勢的與工具無關的觀點。

總體而言，MDM是組織資料架構的關鍵組成部分，用於管理B2B或B2C客戶、供應商、供應商或合作伙伴、法人實體等各方或產品、材料、服務、資產、位置等關鍵資料資產。一個好的主資料工具還能夠管理企業參考資料，例如行政區劃、地理位置、業務程式碼、計量點位和行業分類程式碼。參考資料是可與主資料一起使用的關鍵、重要的資料元素。

除了在多領域方面管理關鍵資料資產外，MDM工具還應該是多方面的，即服務於資料管理員、資料審批者、資料分析師、資料管理員等各種角色的工具。關鍵是MDM平臺可以將所有資料利益相關者聚集在一起，以便他們能夠對資料有共同的理解，管理主資料的生命週期並建立信任。

MDM平臺的前瞻性趨勢

作為一名高階專家顧問和長期的MDM從業者，我總是會收到有關MDM與當今業務需求的相關性的問題。我看到了多種不同的技術浪潮，例如透過區塊鏈和現在的人工智慧（AI）驅動的大資料、雲和去中心化。

在所有這些趨勢中，資料始終是滿足業務需求的關鍵要素。在我看來，有效管理資料以使用正確的資料架構解決業務問題是成功的關鍵。趨勢將會不斷出現，其中一些趨勢會保持相關性並增強資料管理體驗，而另一些趨勢最終會被證明是無關緊要的。今天我們所看到的趨勢之一是各種型別的人工智慧(AI)，如自適應人工智慧、生成式人工智慧等。人工智慧將繼續存在，就像20世紀50年代以來的那樣。此外，人工智慧只會幫助有效管理資料來滿足業務需求。

因此，讓我們關注市場前景，以確定將加強我們組織中MDM使用模式的趨勢功能。

在我們深入探討我對新趨勢的看法之前，我們先從ResearchAndMarket.com報告確定的MDM全球整體市場前景開始。報告稱：主資料管理市場規模將從2022年的167億美元增長到2027年的345億美元，預測期內複合年增長率為15.7%。合規性需求的不斷增長、資料管理中資料質量工具的使用增加以及多領域主資料管理的上升趨勢等各種因素預計將推動主資料管理技術和服務的採用。

趨勢#1：MDM與OpenAI或大型語言模型(LLM)整合

在過去的幾個月裡，科技界看到OpenAI（生成式預訓練轉換）GPT模型的趨勢是一種現象。特別是從小規模模型向大規模模型的轉變。MDM或資料提供商等軟體應用程式和工具將開始利用這些AI模型與LLM整合，並啟用自然語言介面來交換和豐富資料需求。根據Gartner成熟度曲線，基於LLM的整合正處於早期階段，只有早期採用者的用例處於發現階段，可用的權威參考架構非常少。響應具有不可預測性，可能無法針對特定用途進行情境化。此外，在撰寫本文時，LLMAPI的成本對於合理化此類整合來說非常高。

當LLM整合成為主流時，這是值得關注的領域。因此，在這種背景下，現代MDM背景下可能的用例如下：

用例：眾所周知，MDM工具可以與外部源整合以滿足各種資料豐富需求，從而根據可用資訊構建最佳版本的資料。例如，與天眼查或企查查整合以豐富B2B組織資訊，與Experian、Trans-Union等信用報告資料提供商整合，以獲得B2C消費者的準確資料。每個垂直行業都將擁有此類領先的行業特定資料來源，有助於豐富主資料。當LLM模型更具預測性和可靠性時，這些模型可能是主資料豐富的額外來源，或者特定行業的資料提供商也可能與LLM模型整合，以進一步評估、審查和擴充套件其資料以獲得更高的準確性。無論哪種方式，讓MDM能夠直接或透過特定行業的資料提供商與LLM整合肯定會成為一種趨勢。

趨勢#2：增強型MDM

過去兩年，增強型MDM一直是資料管理領域的流行趨勢。然而，關鍵是嵌入機器學習(ML)功能，透過訓練MDM工具自動解決重複、提高資料質量並提供基於ML模型的自動化建議，從而驅動業務價值並自動化決策功能。這就是使用術語“主動和增強”的原因，它們是MDM工具成熟週期的演進階段。使用機器學習代替傳統的分析和可疑解決正在增強人類行為。在人類或MDM工具被動或被動地解決資料衝突後，使MDM透過重新訓練ML模型來學習的過程是MDM主動和增強的原因。另一個術語“無人駕駛MDM”與增強型MDM類似。就像自動駕駛汽車可以在自動駕駛模式下啟動一樣，汽車可以在自動駕駛模式下進行駕駛決策，駕駛員可以在需要時收回控制權。同樣的概念也適用於MDM中的自動化決策。關鍵是，這些是MDM工具和功能技術成熟的各個步驟。作為在組織中建立牢固的MDM實踐的過程，資料架構團隊負責與其MDM供應商合作，在可用時實施此類功能。

用例：MDM最常見的用例是透過CRM、ERP等各種來源整合資料。像締約方這樣的多個實體以原始形式存在於這些來源中，在每個系統中具有不同的表示形式。這些用例的目標是使用匹配和合並等MDM功能（主要透過內建工作流模型驅動）將它們整合為單一事實來源。為了利用自動化和擴充套件的優勢，匹配工作流程應該先進，以便能夠與ML模型連線。這將有助於解決重複問題並管理生存情況，從而實現MDM工具的黃金記錄。此外，該工具應該提供基本的ModelOps功能，或者應該能夠與ModelOps工具整合，以管理、維護、訓練/重新訓練模型的版本、部署生命週期等。這是將ML模型嵌入到MDM中的一方面驅動業務決策的工作流程。

下一步是用例的人工智慧方面。現在，MDM系統部署了一個ML模型，以利用人類（資料管理員）或ML模型解決可疑問題的業務決策。基於該模型，MDM應該能夠提供建議，其中類似的決策可以應用於其他記錄列表，以便在現有或新的黃金記錄中對它們進行分組/取消分組。此類主動建議有助於根據系統或人類如何透過重新訓練的ML模型做出決策來了解資料在一段時間內的執行狀況。解決主動建議的最終決定完全取決於資料管理員。關鍵是要了解系統根據一組操作或根據部署的重新訓練模型推薦什麼。構建推薦系統可能需要選擇替代資料庫，例如向量資料庫，以便使用ML模型向量資料庫有效地儲存資料上的向量嵌入。

趨勢#3：MDM功能的持續自動化

這與AI/ML功能同樣重要。通常可以嵌入AI/ML來實現MDM流程的自動化。我們在上一節中討論了一個這樣的用例，其中匹配工作流利用AI/ML功能，就像其他MDM功能也可以透過AI/ML來利用自動化驅動一樣。

用例：MDM工具中的資料必然會發生變化。關鍵是MDM功能必須積極工作以持續自動化流程，以將MDM資料的更改狀態與定義的所需資料狀態相匹配，例如：如果MDM抽取作業包含導致作業失敗的不良資料。根據所需的狀態配置，作業處理程式應該能夠採取適當的操作來刪除不良資料並重新啟動作業。這同樣適用於資料質量流程，以確保資料的健康狀況達到所需的狀態配置。MDM的另一個重要特徵是資料的分類或分層表示。資料狀態的變化應該觸發分類或層次結構的自動重新調整。

如果您熟悉Kubernetes，可以打個比方，當在Kubernetes的Pods清單中定義時，協調迴圈的工作就是始終確保多個Pod的活動狀態與所需狀態匹配。

同樣，MDM工具的創新可以定義資料質量分數、主動資料分類規則、如何建立資料連結，以及當增量負載透過源系統時，如何主動整合資料。簡而言之，需要有一個定義清單，資料管理員可以在其中指定所需的狀態，而MDM工具可確保實際狀態與持續自動化的所需狀態相匹配。清單的定義可以透過審批流程來驅動，因此對如何定義所需狀態進行治理和變更管理。

趨勢#4：知識圖譜和多領域MDM方法

雖然知識圖譜並不是一種新趨勢或技術，但我看到許多MDM供應商在MDM工具中提供了新增圖形視覺化的功能。然而，我還沒有看到很多組織充分利用它。排除可能是一些製藥公司依靠知識圖譜來分析物質和藥品等關鍵資料元素之間的關係。

知識圖譜譜就是未來，其實在我看來，現在說它是未來有點晚了。隨著組織管理的資料量增加，圖形資料庫等替代資料庫將使知識圖譜的實現更容易確定正確的資料連線，以檢視以前從未探索過的模式。它將有助於更有效地推動業務。當我們討論資料驅動的業務時，更多的是基於資料的分析和報告。然而，知識圖譜譜將有助於提高業務敏捷性，從而在整個組織中產生連鎖效應。

大多數MDM工具要麼依賴於關聯式資料庫，要麼依賴於某些專有的語義模型。我們知道這兩種方法都限制了資料遍歷，並且沒有針對資料視覺化進行最佳化，因為它應該是視覺化的。MDM供應商已經接受，需要有一種透過節點、邊和關係屬性更好的資料表示方式，而不是行和列。

用例：由於需要將MDM實施從單域擴充套件到多域，透過圖形的連線性最為重要。以我為汽車行業實施多域解決方案的經驗為例，B2C客戶資料模型是客戶的集合。其他域是位置、產品和服務。透過完整實施多領域MDM解決方案和知識圖譜，該組織能夠連線關鍵資料點來推動數字營銷活動。例如，家庭內連結的客戶、客戶喜歡的服務地點、在不同地點受歡迎的服務專案和產品等。這是MDM系統中提供的重要洞察。

趨勢#5：MDM部署策略

儘管科技界正在優先考慮其轉型計劃，以減少本地資料中心的佔用空間並遷移到雲端，但上述研究與市場分析報告指出，許多MDM實施更傾向於本地部署。

我見過MDM產品公司推出SaaSMDM（單租戶SaaS&多租戶SaaS）；然而，任何企業SaaSMDM的採用率都沒有達到預期。整體資料隱私和治理方面正在減緩關鍵企業資料資產向雲的遷移。根據評估和適合度，MDM部署策略的選擇將繼續成為組織的首選方法。

作為一名顧問，我的建議是選擇MDM即服務(SaaS)或提供託管服務的MDM供應商，以擺脫基礎架構和應用程式管理，而專注於MDM實施。

趨勢#6：透過行業特定解決方案採用MDM

將要投資MDM工具的企業總是會欣賞適合其行業背景的售前演示和功能證明。這有助於加快購買過程。同樣，為了使MDM客戶會體驗加速，MDM實施供應商或專業服務提供商可以提供打包的MDM行業解決方案，幫助更快地實現價值和投資回報。

在我作為MDM從業者和進入市場策略的旅程中，我的團隊推出了多個此類行業特定的打包解決方案以加速併成功實施MDM，並加快價值實現時間。我們注意到它確實有助於更快地採用並最佳化部署時間。對新的實施企業的建議是評估其行業的實施難易程度。MDM供應商應將其視為標準產品，以加快部署時間。

最終，MDM將繼續成為將內部系統與MDM資料整合或與外部貿易合作伙伴釋出的組織值得信賴的黃金資料來源。討論應有助於採用實施MDM的新趨勢來推動業務成果，並繼續成為業務使用者的戰略平臺。