雲音樂資料資產化建設的思考與實踐

本文介紹是雲音樂資料資產化建設相關的內容，介紹了近一年在具體實踐過程中的一些階段性的成果和思考；詳細內容將從資產化建設的背景、近期的實踐成果以及下一階段的思考與規劃共三個方面來展開。

“我要取個數有沒有現成的表？”，“按xx報表這個指標的口徑，我想取清單明細怎麼弄？”，“這麼多表，很多指標存在多張表，哪個才是正確的？”……

“我們們的數倉建設得好不好？”，“數倉建設進度到哪兒了？模型公共性/擴充性如何？”，“資料質量怎麼評估啊？”，“完整性、一致性、準確性、及時性 ？”，“如何量化？”……

“我們們建了幾萬張表了，到底有啥用呢？”，“誰在用我們的表？用得怎麼樣？”，“建了這麼多表，有什麼價值？”……

歸納問題，形成三類痛點：資料消費、資料生產、資料價值

2.1 外部環境

在整個行業降本增效的大環境下，公司在近段時間也需要做相關的努力。我們的資料資產化也是圍繞降本增效的宗旨，指導全鏈路的資料建設工作。

2.2 內部情況

加入雲音樂初期，雲音樂數倉已經具備了8年多的積累，表總量達到6w+，資料庫70+，業務線10+，儲存空間超過100P，資料生產和消費相關的人員幾百人，線上線下的計算任務10w+，大資料年度成本超過1.5億，在同等業務規模下的業務複雜度和計存成本已經達到了行業前列。

在過去幾年，不論是業務環境還是團隊人員都經歷了好多輪的迭代，會面臨很多現實的問題，諸如：持續不斷的需求（來自業務、商分、技術、職能部門等）、永遠短缺的人力資源，更不幸的是，基建能力的相對不足會使得前面兩個問題陷入持續惡化的窘境。

這也應該我們大多數人可能面臨的情況，很少有機遇能夠碰到從0-1到資料倉儲搭建機會，更多是在前人積累的現狀下，一邊繼續支援業務，一邊騰出手來做內部最佳化。

3.1 找出線頭：從資料消費端切入

邊建設邊治理，類似開著飛機換引擎，必須在支撐正常業務需求吞吐的前提下，選擇ROI最高的方式來快速拿到結果，並且被感知到。消費側是一個比較好的切入點。三個理由：

• 消費側對於資料資產變化的感知最直接；

• 現有基礎上從底層開始推翻改造代價過高，且風險和人力成本均不可接受；

• 歷史積累的很多“寶藏資產”有被髮掘利用的價值。

這裡有一個很現實的問題值得我們思考：為什麼我們建設了這麼多有價值的表，消費方還經常感覺到資料不夠用？——是真的不夠，還是說找不到？有問題的地方就有我們努力提升的空間。

建得多vs不夠用 這樣的體感錯位的問題，本質上是 生產視角vs消費視角 的錯位，導致使用者消費決策鏈路上花費了太多的成本，從開始到放棄，陷入“不好找、不敢用、重新做、建更多、更難找”的惡性迴圈。

我們做了三件事情，來解決這個問題：

（1）精簡資料模型：梳理現有數倉模型表，提煉每塊業務的核心表清單，將長期不用的庫存表、疑似廢棄的垃圾表、過度設計的煙囪表等進行淘汰整合

（2）重塑資訊結構：以消費視角，重新整理核心表清單的資訊組織形式，編撰資料資產白皮書，並持續保鮮

（3）產品化運營：搭建連線資料生產和消費的門戶，提供資料資產化運營的平臺——資料資產門戶

起初我們用靈犀文件編撰了資料資產白皮書的第一版，搭建一個簡單的門戶portal導航，並配套埋點以便統計門戶訪問情況。

隨後在與網易數帆大資料產品團隊的交流合作下，促成了資料地圖-資料專輯的上線，方便集團內各BU更好地從消費場景來組織自己的資料資產資訊結構。

至此，資料倉儲團隊有了自己的產品陣地來承載核心資料資產，以便後續逐步在消費者心中樹立權威核心資產的心智。

3.2 抽絲剝繭：資料生產端的治理

不同於消費端的相對輕量化的方式，在資料生產端的治理則是切實從細節一點點地沉下去持續打磨。我們從立標準、搭工具兩方面同時進行，來逐步拆解落實整個資料治理工作。

這裡需要回答的是第二類問題：“如何量化資料倉儲的建設？”

如下圖所示，我們引入高質量、強規範、低成本三方面的指標來綜合衡量之。

具體的實施過程，由於很多歷史原因，既定的數倉研發規範並沒有得到很好的落實，很多環節需要需要人工介入梳理。因此整個治理工作也會在不同階段重點關注不同的指標用來牽引團隊的工作重心。

經過近一年的實踐落地，雲音樂數倉內部已經對“三度”指標體系達成了共識，並作為日常工作中的北極星指標時刻關注。

資料治理並非一錘子買賣，整個過程如果需要做到可持續，需要有配套的機制和工具來輔助。因此我們設立了一系列的原則，來確保整個治理體系有序進行：

• 治理有依據

• 權責有歸屬

• 機制可持續

• 效果可回收

• 方法可沉澱

透過跟網易數帆大資料團隊合作，我們拿到了生產鏈路的後設資料血緣，並以此建模，形成生產治理可行的基礎；權責到人&機制保障 使得整個過程能夠有序落地。在過程中，同時沉澱了一系列的視覺化監控看板和治理跟進工具，確保過程量化可控。

一圖勝千言。

需要補充說明的一點是，不僅僅是絕對值相關的數字結果可觀，從增速趨勢、產出穩定性以及研發人員的日常意識方面，都是有明顯的正向提升效果。 

提到資料系統，不僅僅包含資料倉儲本身，還涉及到上游生產系統、中游資料平臺、下游消費圈人洞察、報表系統、智慧服務等等，資料中臺作為串聯上下游的環節，是整個資料系統的核心。

在第一階段的資產化建設達成目標後，我們更需要重新來審視應用視角的效率問題。如何降低下游業務應用的複雜性，則成為一個新的目標和命題。如下圖所示，有一些事情已經在進行中，更多能力建設還在路上。

用一張圖來小結一下我們在過去一年的生產實踐中，已經落地和正在落地的一些成果產出，在面向業務的全域資料建設的基礎上，在資料的採、建、管、用環節沉澱一些列的方法論和工具集，不斷夯實我們的基建，做到降本增效，同時探索資料結合業務的賦能方案和機會，更近一步探索資料商業化的路徑。

一張圖，一場仗，一顆心

資料資產化是這場仗的起點，但遠未到達終點，起步於資產化建設，與兄弟團隊們一起逐步豐滿資料業務的大圖。

使命和願景

以資料資產思維和資料服務思維，不斷推進資料中臺化建設，打造雲音樂資料統一，質量可靠，服務便捷，治理安全的資料資產建設、管理和服務平臺，是我們這個團隊的使命和願景，願與廣大有志之士共同努力！

本次的分享就到這裡，謝謝大家。