乾貨｜九九互動的資料效能提升之路

2020年12月19日，數數科技在深圳舉辦了聚焦於遊戲資料分析的沙龍活動，特邀了九九互動的技術總監張雷老師進行分享。在本次活動中，張雷老師分享了九九互動內部資料體系從0起步，再到資料賦能專案組，實現資料驅動精細運營的整個迭代過程。張雷老師的整場分享粗中有細，都是實戰心得，道出了遊戲行業資料部門在支援專案組過程中的辛酸苦辣，在活動現場引起了大家的共鳴。本文為活動現場張雷老師的內容部分實錄，需要觀看完整視訊的可以訪問數數科技官網。

數說變革丨走進深圳

大家好，我是來自九九互動的張雷，感謝數數科技的邀請，今天有幸在這裡跟大家做一次交流，如果我的分享裡能有一兩句話可以讓大家共鳴乃至所有啟發，這一次的交流就算是有價值的了。

今天來的大多數同學應該對九九互動不甚瞭解，所以請允許我用一點時間對我司做簡短的介紹。這是九九互動主打的三個產品，這三個產品都是休閒社交類的遊戲，輕量級產品。九九是今年初才開始接入TA系統，所以從早期的決策，到TA落地，到下半年的深度使用，都還歷歷在目，因此我今天的分享也是在對這一年的回顧。

1. 為什麼選擇數數科技的TA系統

這個問題看起來很簡單，資料分析系統是一個資料團隊一定會需要的，但是在什麼時候需要，具體需要什麼樣的分析系統，卻又不那麼簡單。公司在早期是沒有專門的資料團隊的，一開始就是開發自己搞，怎麼快怎麼來，業務功能更重要，資料在這個階段的作用就是粗暴的統計。後來開發不願意做了，就抽出來一個人專門做資料包表，這就是資料團隊的雛形，他一個人要承接所有的資料需求，由於沒有規範，沒有標準，累得要死，經常是五六個產品運營圍著他要資料。

18年初，我們開始梳理流程，提升資料質量，使用了新的數倉，統一資料埋點的格式和指標口徑，大大提升了取數和生成報表的效率，資料質量也開始穩定起來。19年，我們研發了離線的資料包表平臺，通過模板化配置化的方式，進一步提高了資料效能，回頭再看17年和18年的混亂，恍如隔世。看起來一切都挺好，但其實暗流湧動。

業務：“找資料團隊取個數還得排期？要不直接把人安排到工作室專門給我們取數和做報表吧。” “這個報表挺複雜，但我就是需要。” “小時報表太慢了，能不能再快些？”

資料：“ 整天就是取數，寫SQL跑報表，沒成長，沒意思。業務還很強勢，各種奇葩需求都得滿足，不開心。”

老闆：“ 資料團隊很辛苦，但價值沒體現出來，做了這麼多報表，也不知道各個報表之間的資料有什麼關聯？”


我們國內發行想要做到國內首屈一指，對投放效果的快速驗證是核心能力，1小時的驗證週期已經爛大街，他們需要的是分鐘級的驗證週期。如果一個分析系統還需要運營人員懂點SQL才能用好，這是一個成本極高的事情，至少在我司2年裡還沒有落地，手把手教都沒用，屁股決定腦袋，運營沒有動力去學。我們也對比過雲產品和各類開源產品，最後還是選擇了商業化產品，最根本的因素就是成本，時間是成本，研發資源是成本，後期維護也是成本，在公司的不同階段，對成本的重視程度完全不同，作為一個早期的創業公司，最看重的是工具的ROI。使用者體驗非常重要，我們接觸過很多的商業產品，但用起來就是覺得怪怪的，TA就沒有這種感覺。運維全部交給數數，響應速度非常快，非常放心。有的商業產品要一口價300萬，有的商業產品按事件量收費(不適合專案爆發)，按我們當前的量級來估算，成本會高得驚人。


2. 使用TA系統期間遇到的問題和解決方式

我們用了三個月的時間落地，中間還是踩了挺多的坑，這裡做個簡單的分享。資料匯入後的準確性是最重要的，可以說匯入的資料一條都不能錯，我們在這上面踩了挺多坑，花了大量的時間。所以在前期用小規模驗證是非常非常有必要的。


3. 使用TA系統的一些經驗分享

TA系統的看板功能還是比較強大的。基本能夠配置出各種效果的總體看板，然後可以通過探索功能不停地下鑽，幫助運營找到歸因。看板的功能不是我分享的重點，我們每天有超過10億條的事件上報，運營如何有效地關注資料，這就涉及到看板的設計，在這裡我分享一下內部對看板設計的一些思路，我們大概分成三類：

1. 總體看板

這是製作人層面關注的最核心的指標，比如收入、投放、DAU、ARPU 、註冊、留存等等，這是一個專案的健康指標，通過TA可以檢視各指標的明細。

2. 專項看板

比如運營活動、支付、遊戲核心玩法等。

3. 基於自定義關聯性模型看板

主要是用於觀察和驗證模型的效果，比如我們做的自傳播模型看板，可以很直觀評估投放渠道的優劣，通過這樣的設計可以讓運營更聚焦。


除此之外，TA系統的這幾個功能也都幫我們解決了很多實質性的問題：

1. 事件分析模型

功能非常強大而且靈活，比如我們可以一次性把遊戲的所有指標全都配置出來，而且準確性高，我們發現過幾次舊系統和他的報表資料對不上的情況，無一例外都是我們舊系統的SQL寫錯了。

2. 留存模型

不僅僅是計算留存，而是符合先有x行為，後有y行為的模式都可以套用的模型，比如我們用這個來計算LTV。這個模式在我們分析場景中非常常見。

3. 使用者標籤功能

我們可以較為簡單地將RFM模型落地，並通過事件分析跟蹤它提升在某個物品道具的付費效果。之前運營都是拍腦袋定價格，現在有了使用者分層後，定價就有了資料依據。

4. 虛擬屬性

這是非常有用的功能，可以減少我們在前期的很多工作，比如我們上報的移動端系統資訊，由於歷史原因，報的粒度很粗，由於資料量的緣故，也不可能全部重新清洗，這時候用虛擬屬性，就可以很簡單解決這些問題，把手機品牌從系統資訊裡分離出來。除了這個，我們還利用虛擬屬性設定了使用者的生命週期，即動態地把當前事件時間與註冊時間的差值作為生命週期，這個指標在我們的分析中被重度使用。

5. 報表需求

這是系統目前所無法直接配置出來的，這時候SQL IDE就有用了，特別是新版本上線後，已經支援從外部資料來源讀取資料生成列表，極大地補充了他的全面性。

我們通過他的API ，把一部分的資料包裝成服務提供給業務，比如業務需要對各種使用者進行推送。我們用API把業務自定義的所有使用者標籤拉取出來，供運營在運營中心上使用，實現一個半自動化的推送效果。

TA提供了簡單的告警配置，可以對一些核心指標進行波動性監控，我們國內發行的所有專案都在使用這個功能。TA可以查詢使用者的所有事件，這個功能被我們拿來當做客服功能，之前的數倉無法儲存太久的明細資料，很多時候都需要去找開發撈資料，效率很低，現在用這種方式就可以知道使用者發生的所有行為。之前業務追著我們要資料，現在是追著我們幫他們分析，甚至有運營問我們資料團隊是不是沒啥事做了。

4. TA系統對我們產生的價值

好的工具產生的效果有時候真的會讓人驚訝，運營跟我反饋，用了TA之後，他們對資料的理解明顯加深了，過去因為工具不夠便利，想驗證個想法都要等好久，久而久之，就把思考的火花給磨沒了，接入TA後，所有資料都可以用各種維度查詢展示，用得越來越爽，從而激發了對資料的好奇和興趣。我們舊的系統是離線資料，TA是實時資料，兩者的資料來源頭是一致的，所以也算是一體化的初級實現了。目前在比較理想情況下，我們的國內發行可以在10幾分鐘內就判定當前渠道的優劣。


5. 未來我們將更好的使用TA系統

他的架構是presto+kudu+hdfs, 我們的全量資料都在hdfs上，完全可以充分利用這些硬體，而TA也是支援外部對這些hdfs的讀寫，只要不破壞他自身結構即可。我們的業務經常會在某個地區爆發，部署獨立的計算叢集是一種價效比較高的方式，可以快速擴容和縮容我們仍然有一些報表在舊系統，需要用他的SQL IDE來生成報表，TA後續會優化這類報表的體驗。相信在未來我們也會更好使用TA系統，我今天的分享就是這些，謝謝大家。