資料編織：交易資料和分析資料的橋樑【含示例】

交易資料和分析資料之間的關係總是有點緊張。通常透過他們共同的朋友——資料管道進行交流。它至少穩定了二十年。但現在不安情緒正在增長。為什麼會這樣?首先，資料管道可能很慢。當交易資料到達資料平臺(如資料倉儲或資料湖)時，它已經過時了。因此，生成的洞察力可能不再相關。在當前敏捷業務時代，實時洞察力至關重要。其次，這是一條單向路線。價值從交易世界傳播到分析世界，但反之則不然。重要的是建立反饋迴路，以便生成的洞察力可以直接為交易世界做出貢獻。

傳統的資料平臺架構，如資料倉儲或資料湖，都沒有拉近這兩個世界。它們是為分析世界而構建的。即使是新的資料湖屋架構也會有同樣的缺陷。但是資料編織呢?

Gartner明確提到“資料編織涵蓋交易系統和分析系統”。資料編織就是鬆散耦合的分散式服務集合，使正確的資料能夠在正確的時間和地點以正確的形式從事務和分析性質的異構來源中獲得，跨任何雲和本地平臺，通常透過自助服務，同時滿足非功能性要求，包括成本效益、效能、治理、安全性和合規性。

但傳統上，這從未在資料平臺上完成過。它始終是分析資料世界獨有的。我們如何解決這個問題?我們如何將交易系統置於稱為資料編織的新資料平臺架構下?

影響企業的兩種技術趨勢

兩大技術趨勢正在影響全球的企業。首先是雲轉型。許多企業已將基礎架構和非業務關鍵型應用程式遷移到雲端，從而獲得了巨大的經濟利益。但這才剛剛開始。現在，關鍵業務應用程式正在實現更新，並準備好遷移到雲端。但在這種趨勢中，重點始終放在應用程式和基礎架構上。這些資料通常是經過深思熟慮後才出現的，有時甚至被忽略了。

第二個趨勢是以資料為中心。企業正試圖將自己轉變為一種基於資料執行其運營和流程的狀態。企業資料的原材料正在被提煉並轉化為資訊，然後是洞察力。我們的想法是，這些見解將推動業務決策，從而使業務收益對資產負債表的頂線和底線產生積極影響。

但這兩種趨勢存在於兩個平行的宇宙中。第一個通常是資料編織CIO資料編織的議程，而第二個通常是由多個資料編織CXO資料編織領導的業務議程。結果，他們沒有有效對接，失去了巨大的機會。

問題是我們能否在整體組織目標下將它們編織在一起?答案是肯定的。預計資料編織Data資料編織Fabric資料編織將在那裡發揮關鍵作用。讓我們看看如何。

與資料編織的融合

在雲轉型的當前階段，隨著關鍵業務應用程式的最佳化，出現了一個新的機會。幾乎所有的應用程式都與一個或多個資料庫相關聯。與應用程式一樣，這些資料庫也很陳舊，急需更新換代。否則無法獲得全部收益。然而，由於害怕出現新的問題，它們常常被忽視。與應用程式一起解決這個問題很重要。

在對這些資料庫進行改造時，可以採取多項措施：

•可以重新整理資料模型

•資料可以被清理

•龐大的單體資料庫可以分解成更小的可管理資料庫

•可以採用新的多語言技術(例如文件、鍵值對、圖形、物件儲存等)，而不是使用舊的基於檔案或RDBMS資料技術

這種新改造的資料庫可以透過API、虛擬化、訊息傳遞等機制分享其資料。這些風險中的每一個都可以作為資料編織中的“資料資產”或“資料產品”釋出。發現和消費自然會隨之而來。

資料編織搭建橋樑

透過一個例子，讓我們看看事務和分析系統如何參與資料編織。

讓我們考慮一個零售組織。對於初始範圍，他們考慮了三個業務關鍵型交易系統。

•T 1是一個基於Java的自定義店面應用程式，可從移動和Web前端執行。

•T 2是零售商的財務和會計系統，採用SAP系統。

•T 3是Salesforce CRM。它還整合了Einstein以執行一些分析。

同樣在分析方面，除了上面提到的Einstein之外，讓我們在這個討論中包括更多的資料和人工智慧平臺。

•A 1是近年建立的客戶資料湖。它在Azure Databricks上執行。

•A 2是一箇舊的基於Netezza裝置的資料倉儲，用於處理財務和監管報告目的的資料集市。

•A 3是一個新的IBM Cloud Pak for Data基於分析平臺，用於開發新的人工智慧用例。

雖然基本系統很好地服務於此目的，但在過去幾年中，企業發現它們在市場上缺乏差異化。他們的創新在市場上並不是最好的。一個主要原因是缺乏可發現、可信賴和可使用的資料。他們的大部分資料整合都是點對點的。由於可發現性是一個問題，因此在整合和處理相同資料方面存在許多重複工作。

雖然最近CIO啟動了應用程式現代化計劃，但資料領域並未涵蓋其中。為了解決這種情況，CIO和CDO聯合發起了一個資料編織計劃。開發了一個企業資料市場，所有參與的交易和分析應用程式都應該釋出他們的“資料產品”。最初，上述六個系統被指定用於資料編織參與。讓我們看看這些系統將如何為這種參與而進行轉型。

T 1是一個古老的單一應用程式，被認為是最先進行現代化改造的應用程式之一。採用基於微服務的架構。大型Sybase資料庫被分成多個資料庫。主資料和參考資料主要儲存在Azure Cosmos DB中。事務資料儲存在SQL Server中。微服務作為API公開，供不同渠道使用。還發布了相同的API(例如，上圖中的“A”、“C”)。它還在市場上將原始銷售資料作為檔案產品“D”釋出。

T 2作為ERP，保持原樣。但是，它開始透過資料市場將定期賬戶資料作為檔案(圖中的產品“E”)釋出。A 2從市場中提取了這些檔案。

T 3開始透過資料流式釋出實時客戶資料變化。這些事件在市場上作為產品“F”釋出。T 1訂閱了這些事件以實時反映最新的客戶資料。同時，從Einstein的儲存庫中，Salesforce CRM的檔案提取作為產品“G”釋出。

A 1使用了原始銷售資料 ('D')和原始客戶資料 ('G')。它生成一致的客戶資料和一致的銷售資料，並將它們分別作為虛擬物件“H”和“I”釋出在市場上。

A 2攝取“I”和“E”並生成作為檔案產品“J”的對帳帳戶。

在A 3中，開發了一種用於個性化產品推薦的新AI模型。它使用一致的客戶和銷售資料、核對賬戶和實時客戶更新。經過訓練的推理模型部署為API“K”。T 1消費“K”以向店面的顧客提供更好的個性化推薦，從而創造更好的銷售。

結論

如上所述，Data Fabric在企業面前開闢了一種新的可能性，使他們的交易和分析資料更接近彼此。然而，這不僅僅是技術轉型，還需要組織和文化的轉變和變革。應用程式所有者和資料所有者需要在新的運營模型上合作。需要將資料視為一種產品，而不是一項複雜的技術。如果引入這樣的變化，企業可以獲得顯著的業務收益。