談談如何構建有效的資料供應鏈

資料比以往任何時候都更加重要，但大多陣列織仍在為一些常見問題而苦苦掙扎：他們更多地關注資料基礎架構而不是資料產品;建立資料時通常會考慮特定部門的需求，但很少考慮最終用途;他們缺乏一種通用的“資料語言”，每個部門都用自己的系統進行編碼和分類;他們越來越關注外部資料，但幾乎沒有質量控制系統。透過專注於“資料供應鏈”管理，可以解決這些問題。與實體供應鏈類似，公司應該系統地思考，專注於最終產品、定義標準和測量、引入質量控制，並在資料收集和分析的所有階段不斷改進他們的方法。

幾十年來，資料管理一直困擾著大公司。幾乎所有的公司都在這方面花費很多，但發現結果並不令人滿意。雖然這個問題似乎並沒有變得更糟，但隨著管理者和公司努力變得更加資料驅動、利用高階分析和人工智慧並與資料競爭，解決這個問題變得越來越緊迫。在本文中，我們將透過“資料產品”和“資料供應鏈”的視角探索一種有效的資料管理方法。

大多數公司都在為一些常見但重要的資料管理問題而苦苦掙扎。

首先，企業集中於資料管理的技術能力，這些能力由 IT 職能控制，需要獲取、儲存和移動資料。這絕非易事——構建技術“管道”是一項具有挑戰性的工作。但在這樣做的過程中，他們更多地關注基礎設施，而不是輸出：用於做出決策、區分產品和服務以及滿足客戶需求的資料產品。

其次，資料是在組織的不同部分建立的，以滿足各個部門的需求，而不是供其他人以後在資料產品、業務決策或流程中使用。將其與實體產品(例如汽車)進行對比，其中底盤和啟動器等元件的設計考慮了最終產品。

第三，大多陣列織缺乏通用的資料語言。資料是微妙而細微的，對於不同背景下的不同人來說具有不同的含義。雪上加霜的是，一些部門對“他們的資料”擁有所有權，可能不願意分享。或者雖然願意分享，但他們不會花時間解釋這些細微差別，以便其他人可以有效地使用它。這導致其他部門建立自己的“近乎冗餘”的資料庫，加劇了整體混亂。

最後，公司對外部發生的事情越來越感興趣，利用外部資料來回答各種問題。但外部資料在很大程度上是不受管理的，幾乎沒有供應商資質或資料質量評估。

資料供應鏈管理，以資料產品作為流程的最終結果，可以幫助解決這些問題。它同樣重視資料管理的所有階段——從收集到組織再到資料產品的消費。它是一種平衡通用資料與產品中獨特和定製資料的優勢的方法，它同樣適用於內部和外部資料。採用資料供應鏈管理的公司相對較少，但那些採用資料供應鏈管理的公司往往會報告更好的結果。

資料產品的流程和供應商管理

公司一直以財務報表、向監管機構報告等形式生產資料產品。儘管如此，此類產品的範圍和重要性仍在增長。對於許多人來說，目標是將分析和 AI 衍生模型嵌入到為內部和外部客戶提供服務的產品中。Morgan Stanley 的Next Best Action、LinkedIn 的People You May Know、Google 的眾多搜尋產品以及 MasterCard 的SpendingPulse和Business Locator都是很好的例子。由於上面提到的問題得到充分展示，“爭論”資料比構建模型花費的時間要長得多，而且仍然不能解決所有問題。

經過研究，有一種更好的方法來獲取高質量的資料。它建立在實體產品製造商使用的流程和供應商管理技術之上。特別是，製造商深入他們的供應鏈以闡明他們的要求，鑑定供應商，堅持供應商測量質量，並在問題的根源上進行必要的改進。這使他們能夠以最少的“物理產品爭論”將元件組裝成成品，從而提高質量並降低成本。

一個在其資料供應鏈中採用供應商質量管理的組織是奧馳亞，總部位於美國的菸草和無煙產品供應商。奧馳亞每天依賴 100,000 多家便利店的銷售點資料來完成其市場報告和分析。一個向 Advanced Analytics 副總裁 Kirby Forlin 報告的團隊負責管理這個領域。合同中明確規定了資料要求，該團隊旨在幫助商店滿足這些要求。首先，奧馳亞專注於其最基本的要求。質量很差，只有 58% 的每日提交符合他們的要求。但奧馳亞團隊耐心地工作，在三年內將質量提高到 98%。隨著基本質量的提高，奧馳亞團隊將其更高階的要求新增到組合中。正如 Forlin 所說，“這是一項正在進行的工作。我們可以越來越信任資料的證據為我們在分析實踐中節省了大量工作，並在我們的工作中建立了信任。”

建立資料供應鏈的步驟

資料供應鏈可以在公司內部建立，方法與物理供應鏈的流程和質量管理中使用的一些相同步驟相同：

1.確立管理職責。

步驟 1a，首席資料官或產品經理應從其員工中任命一名“資料供應鏈經理”來協調工作，並從整個供應鏈的每個部門(包括外部資料來源)招募“責任方”。

步驟 1b 是將與資料共享和所有權相關的問題放在首位和核心位置。我們發現大多數問題都會消失，因為很少有經理願意在同事面前採取強硬立場反對資料共享。

識別並記錄建立和維護資料產品所需的資料以及相關成本、時間和質量要求。

2.描述供應鏈。制定一個流程圖，描述資料建立點/原始資料來源以及為在資料產品中使用而移動、豐富和分析資料所採取的步驟。

3.定義和建立測量。通常，想法是實施指標是否滿足要求的測量。從資料準確性和從資料建立到合併到資料產品中所用的時間開始。每個資料產品的供應鏈都會有不同的措施。

4.建立過程控制並評估是否符合要求。使用第四步的測量來控制過程並確定第二步的要求得到滿足的程度並找出差距。

5.調查供應鏈以確定所需的改進——整體和特定資料產品。確定步驟五中發現的差距源自步驟三的流程圖。

6.進行改進並持續監控。確定並消除第六步中確定的差距的根本原因，並在必要時返回到之前的步驟。持續監控輸入資料和資料產品，尋求改進產品以及所需的新資料和更好的來源。

7.確保“合格”資料來源。公司將繼續招募越來越多的外部資料供應商，這有助於確定那些始終如一地提供高質量資料的供應商。對其資料質量計劃的審計提供了“鑑定”那些做的人並識別那些不做的人的薄弱環節的方法。

Key Bank 是美國資產規模排名前 20 的銀行，它使用廣泛的資料供應鏈概念來構建其資料管理計劃。它將其過程分解為“捕獲/組織/消費”三個領域，並試圖提高每個領域的效率和有效性。Key Bank最近將大部分資料儲存和分析轉移到雲端，並發現整個供應鏈的靈活性和速度有了重大改進。它的消費活動在歷史上主要集中在經典的商業智慧功能上，但現在它也具有強大的資料科學功能。

這需要改變資料供應鏈，以實現更大的資料虛擬化，並能夠構建跨越不同資料集幷包含外部資料的資料檢視。該銀行已經能夠利用其資料供應鏈來快速開發高度依賴資料的新銀行產品。例如，Key Bank是美國最大的薪資保護計劃貸款貸方之一，最近還推出了面向醫生的國家數字銀行。該銀行的首席資料官 Mike Onders 實際上是資料供應鏈經理。他和他的員工評估了銀行資料供應鏈提供各種所需資料產品的能力。

建議所有公司積極管理其最重要的資料供應鏈。資料對企業來說與任何其他型別的資產一樣重要，資料產品也越來越與物理產品一樣重要。採用與實體供應鏈相同的理念和方法被證明對資料供應鏈管理同樣具有價值。