資料是資產的概念已經成為行業共識。然而現實中，對資料資產的管理和應用尚處於摸索階段，企業資料資產管理面臨價值評估難、資料標準混亂、資料質量不高、資料安全威脅等諸多挑戰。互娛從2013年開始啟動此項工作，歷經從資料管理到治理，再到資產化的轉變。自年初起，我們啟動實施大資料資產管理體系的建設，本文分享在此過程中的一些實踐經驗與思路。

資料資產管理（DAM，Data Asset Management）是指規劃、控制和提供資料及資訊資產的一組業務職能，包括開發、執行和監督有關資料的計劃、政策、方案、專案、流程、方法和程式，從而控制、保護、交付和提高資料資產的價值。--來源《資料資產管理實踐白皮書3.0》，即通過流程、制度、技術等手段，去提升資料升值能力，助力產品成功，最終提升企業的競爭力。

資料資產管理的定位及架構如上圖所示，其處於大資料平臺（中臺）與資料應用的中間層，連線著底層的大資料平臺（中臺），覆蓋資料全生命週期管理，同時為上層資料應用提供高質量資料的保障能力。

一、 騰訊遊戲大資料運營概況 

目前我們互娛增值服務部服務於50+款端遊，40+款頁遊，還有300+多款手遊，每日資料量級為17000億條，每日資料增量約為260TB，總儲存是80PB的規模。技術棧是使用自研結合開源的混合模式，採用了TEG數平的TDW（騰訊大資料倉儲）來構建離線資料的計算與儲存，結合自研的高效能分散式計算Bitmap技術實現多維、下鑽分析。

對於具體的資料服務場景，相信大家對上圖這些介面不會感到陌生。圖中只是我們資料增值服務的部分呈現，包括玩家在遊戲裡面的歷程、對戰的戰績資訊、個人中心、社群交友、任務系統等服務。其中，任務系統是基於我們實時能力構建起來的一個資料應用。

除此之外，我們還面向IEG內部的遊戲AI、遊戲反外掛系統、鐵算盤、遊戲助手、渠道管理等提供資料服務。

二、騰訊遊戲資料資產管理體系介紹

騰訊遊戲資料資產管理體系如上圖所示自下而上主要分為後設資料管理、資產管理四大核心組成、資產管理平臺以及資料增值服務等四個層次。

最底層是後設資料管理。後設資料在整個資產管理體系中是最核心的一個部件。我們會定製實現整個後設資料的標準化，儲存的資料包含業務後設資料、技術後設資料，提供後設資料的檢索、開放等能力。

往上一層便是資產管理四大核心部分：

1、價值評估，我們定義出用於評估整個資料價值的評估模型以及資料度量報告，我們認為這是資產管理中最核心的一個點，可以協助決策者清楚瞭解資料的價值在哪裡，到底有多大。

2、資料運營，其覆蓋了整個資料生命週期管理，包含資料的安全、質量、成本等部分，我們也採用了DevOps和AIOps這些業界先進理念貫穿整個資料運營過程，參與這個職能的角色我們也叫DataOps。

3、資料治理，此概念更多強調的是資料標準化、制度、流程等這一系列的內容。這裡不詳細展開。

4、資料整合，從資料的採集、傳輸、整合、到落地儲存，通過標準化去統一不同型別、格式的資料來源，按指定規範去實施轉換，並最終落地至統一的大資料倉儲，且訪問資料採用統一標準，這裡採用的是TDW提供的方案。

最上層為資產平臺能力。研發的思路遵循《資料資產管理實踐白皮書3.0》，並結合我們的服務場景，提供多樣及個性化的資料資產管理服務。最頂層則為我們提供的資料增值服務，比如我們提供資料視覺化與分析、營銷活動的支援、訊息推送、渠道管理等一系列服務。以上便是我們資料資產管理的技術體系架構。

針對如何去評判我們整個資產管理建設的能力水平這個問題，我們總結出“三好”能力模型。首先是“用好”資料資產，二是“管好”資料資產，三是“看好”資料資產。

其中“看好” 資產屬於資料安全的範疇。資料是企業裡面的核心資產，也涉及了資料洩露與使用者隱私等問題，一旦發生資料安全事件，對公司的損失是巨大的，甚至是災難性的，所以我們認為“看好” 資產是重中之重。踐行“三好”能力模型的過程中，我們會根據不同的角色去定義並提供相應的服務能力，我們內部資產管理平臺研發與設計也是基於此評估模型。

三、騰訊遊戲後設資料管理介紹

後設資料管理在整個資料資產管理中佔有舉足輕重的地位，接下來介紹我們是如何對其進行設計和構建的。首先它要具備以下幾個能力特點：

1、資料的異構適配和集中儲存。隨著公司歷經不同的發展階段，必然會出現多種多樣的技術棧，則不可避免的產生各式各樣的資料型別，比如說關係型、NoSQL型別，還有一些文字的，一些業務介面、業務系統等。怎樣去採集並且適配如此之多的資料型別，怎樣去描述和定義資料，其難度是非常大的，因此我們定義了一個適配層，此做法和業界主流方案有些類似。具體我們構建了一個模型橋接器來實現智慧轉換，去適配異構和集中儲存。

2、後設資料到底儲存了什麼資料？舉個例子，遊戲行業是有很多指標去衡量它的運營狀態。比如說7日留存率，意思是說這個玩家註冊當天往後去推移7天有沒有流失，有些業務平臺是按註冊後第二天才開始計算，這樣同一個指標大家就理解不一樣，自然導致計算結果不一致。所以我們將遊戲內部累計兩、三千個業務指標，連同它的計算邏輯等描述都儲存到後設資料裡面去，然後再開放給所有的業務平臺。比如DataMore（智慧遊戲運營方案）、圖靈（資料探勘分析平臺），一體化（遊戲指標開發平臺）等內部平臺，大家都採用一套標準，包括指標名稱及計算邏輯，這樣便可有效避免資料不一致的情況。

3、描述資料，其為後設資料的本質，在後設資料管理中發揮核心作用。我們會定義資料的來源，包括責任人，建立與更新時間，分割槽號及資料字典等一系列的描述資訊，以及表與表之間的關係等。通過資料描述模型，資料使用者可以看到整個資料的全景以及資料的描述資訊，可大大降低其使用資料的成本，最大化利用資料的能力，協助產品做精細化的運營，更好地完成運營KPI。

4、自動構建血緣關係鏈，這是一個非常重要的考核指標，後面會詳細講解。

5、擴充套件能力，輔助運營。後設資料不僅包括業務的後設資料，還包括技術的後設資料、運維日常工作過程當產生的告警指標及閥值，甚至是AIOps模型的演算法等，都會統統儲存至後設資料中，以輔助我們做好運營，提供運營策略支援。

以上是我們後設資料構建的一些特點。

 

以上是某遊戲後設資料管理功能截圖，包含一個資料全景及資料屬性描述的功能，可以清晰看到資料責任人歸屬、建立時間、最後變更時間，它的表結構、欄位、資訊等資訊，這些資訊對資料的使用者而言都是非常有用的。

四、 騰訊遊戲資料質量管理介紹

下面介紹我們構建資料質量體系的過程。不合格、不具備交付價值的資料則為垃圾資料，所以資料質量的保障是一個核心點。資料質量體系的構建分為以下四個步驟：

第一，定義資料的標準，包括它的格式、型別以及上報模式等均需統一標準化。我們內部通過制定好的標準去約束，比如定義一張資料表的描述，包含資料型別，表名稱，欄位型別與長度等，研發人員則根據此格式打日誌，標準貫穿採集、傳輸、轉換、儲存全鏈路。

第二，定義質量規則。此部分同業界一致，我們也採用完整性、一致性、準確性及延時性等監控維度。具體介紹如下：

1、“完整性”，比較好理解，即資料不能缺失，不能出現“採集一萬落地八千”的不合格情況，此指標我們採用資料對賬的方式去做資料驗證。

2、“一致性”，相當於資料定義的標準化，意思是怎麼讓內部所有人按照指定規則去理解資料，且涵蓋各個技術平臺、業務線系統。比如我們定義一個ipv4的IP地址是15位，定義手機號碼為13位的或者國內的郵編地址為6位，這個理解上大家肯定是統一的，我們也會將這個標準儲存到後設資料裡面去，各業務平臺一起去遵循這個標準。最終達成一致性。

3、“準確性”，資料中避免出現亂碼或者不是預設型別的值。

4、“及時性”，從資料的採集到資料應用，它的時效性是否滿足業務的需求，比如正常打完一個對局時會收到系統推送的一條訊息，內容可能是一個道具或一個金幣，這個及時性要求是非常高的，絕不允許出現對局完成後兩個小時再把金幣推送出去，這就沒有意義了。這是一項非常重要的資料質量考核指標，對應用層面的影響也是非常敏感的。

第三，質量監控。定義完這些規則和標準後，接下來便是質量監控，包括對帳、心跳、內容檢查還有延遲告警等相應的保障。

第四，質量報告。我們會給產品側輸出整體資料質量的趨勢報告，包括同比、環比及各個質量維度的達標率情況等，目前資料交付的質量都維持在三個九。

總結來說就是通過業務+流程+技術的手段來實現資料質量的總體保障。

五、大資料資產管理之影響評估&快速定位

上圖為一個非常典型的資料實時微服務的架構，從開始的採集到傳輸，再到離線的計算和儲存，還有一條實時分支做資料的轉發、透傳、會涉及到訊息佇列以及流式計算，然後將資料的結果寫到Tredis（NoSQL）中。寫到NoSQL中的資料，來源可能是實時計算或者離線計算任務。研發人員會根據業務規則開發介面邏輯，呼叫資料儲存層，接下來研發會將介面交付至運維人員，進入完整的DevOps全鏈路，最終完成整個資料+業務邏輯的釋出。整個應用過程會遇到幾點問題：
第一點是整個資料服務涉及到的環節眾多，只要其中一個環節出問題，故障的定位就非常困難。

第二點是業務層的資料異常回溯，難度更大。比如一個玩家看到戰報資料，正常的話應該是20級，結果顯示8級，如何快速確認資料從哪算的，經過哪個環節，屬於哪個業務邏輯、哪個專案、哪個邏輯指標以及哪個計算服務叢集等。

第三點就是底層資料平臺故障，如何快速評估影響面。比如當離線計算平臺其中一個叢集掛了，如何確認影響哪個專案、哪個介面、哪些指標、哪些功能，也無從去判斷跟定位。這裡給出的解決方案是通過“資料”加“業務”的血緣組合來解決。

見上圖，我們的血緣資料貫穿從資料採集開始到最終的資料服務整個鏈路。首先將採集的粒度細到IP、埠與程式，業務表ID、計算的任務ID、透傳的表ID、計算業務指標以及Tredis裡面的Key字首，最終交付給介面的業務ID以及叢集的ID，均上報至血緣資料庫。此時整個解決問題思路清晰可見，無論從上往下還是從下至上，均可輕易地實現問題的快速定位以及影響面的快速評估。

上圖為平臺截圖，是一張普通業務的血緣關係圖。從關係圖中我們可以快速瞭解資料從採集到應用中的全部處理過程，知道其部署資源資訊、介面資訊以及指標資訊等。具備這些能力之後，則可運用其有效輔助運營。如，當一個計算任務出庫出現延遲，運維人員通過血緣監控可快速知悉此延遲可能會影響的專案、介面以及相應具體指標，且可快速啟動故障預案，如跟產品溝通，採取掛公告或補償性的動作等預案策略。

六、大資料資產之生命週期管理

下面探討如何去做資料的生命週期管理，首先給出一個結論：資料生命週期管理的策略與資料的線上度有關。

資料線上度即為資料的活躍度，其隨時間推移，資料使用價值的降低不斷衰減，用於資料的線上程度和使用衰減情況。資料線上度主要受兩個方面因素影響：

第一， 其跟定義資料的重要級別有關係，我們共定義了“收入類”、“流水類”、“線上類”、“行為類”和“效能類”等。其中，“收入類”和“流水類”的重要級別比較高，故而打上四星或者五星的標籤。相應的，“行為類”或運維監控日誌，重要級別則相對沒有那麼高，為其打上一星或兩星的標籤。資料的重要級別由運營人員根據運營經驗定義。

第二，資料的價值，主要參考資料的熱度和資料的廣度。

資料線上度的關聯函式我們定義為：

其中V(t)為資料訪問熱度，W(t)為應用廣度， I為資料重要等級。

七、資料價值評估思路“三度”模型

接下來介紹我們做資產價值評估的過程和方案。我們從三年前嘗試做這個事情，經歷了兩個階段，第一階段是資料的成熟期，第二是研究的觀察期，目前處於灰度放量階段。

在資料價值評估具體實施方面，我們提出了從“熱度”、“廣度”、“收益度”等三個維度，按照價值指標、評估模型、價值表現等三大評價流程進行價值評估的架構思路。

其中，關於資料的“熱度”，我們內部有一個共識，就是“只有當資料被使用了才有可能產生價值”，當然這是一個很籠統的說法。第二就是“廣度”，舉個例子，比如我們在國際某個機構去釋出一個專利，結果發現谷歌也引用了、亞馬遜也引用了，Facebook和其他國內的公司也引用了，我們就認為這個專利是有價值的，這個理論相信不少人會認同，同樣我們在內部也是採用這樣的思路，“廣度”依賴的是我們的資料應用及功能模組，只要跟資料耦合程度越高，我們就認為它的廣度就越大。第三就是“收益度”，即資料干預之後帶來多大的收益，比如帶來多少活躍使用者、UV、PV、流水等，這些資料直接上報給平臺，通過平臺去做模型評估，加上每個價值點權重去計算。這裡我們通過A/B Test方案去做整個模型的訓練。

做資產管理價值評估需經過三個階段，第一是做指標的採集，第二階段是做評估模型的定製，最後一個階段就是價值的表現。我們會在平臺上看它的整個分數區間分佈。下圖為某個業務的熱度跟廣度表現趨勢的情況。

最後總結一下做資料資產評估的意義。

資料資產評估是衡量投入產出比的重要依據。通常我們希望 “價值產出”能做到無限放大，同時我們又希望成本能越小越好、甚至沒有。成本核算的方法主流有“成本法”和“價值法”。其中，“成本法”是以資料成本來結算資料服務，“價值法”則認為資料服務的結算定價應該跟成本無關，跟價值有關。具體選擇因場景而定。如我們服務的是IEG內部使用者，資料服務結算的方式採用的是“成本法”，我們的目標是要助力產品成功，應儘可能幫助業務減少成本與支出，這樣的方式可以很好提升產品的競爭力。對於面向toB、toC或toG的業務場景，這時候用價值法也是合理的，因為這樣的機制有益於企業利益的最大化。

以上是在騰訊遊戲實施資料資產管理整個歷程的一些思路，供大家參考與借鑑。中間磕磕碰碰，也引用與總結了業界現有的概念和思路。也感謝TEG資料平臺部給予我們專業的資料服務。一句話總結一下，我們還在路上，希望與大家一起共勉，謝謝大家。

向業界輸出方法論及服務方案，定製行業標準：

白皮書下載地址：

http://www.caict.ac.cn/kxyj/qwfb/bps/201812/P020181214608773379834.pdf

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31559354/viewspace-2642299/，如需轉載，請註明出處，否則將追究法律責任。