乾貨|九九互動的資料效能提升之路

遊資網發表於2021-01-12
乾貨|九九互動的資料效能提升之路

2020年12月19日,數數科技在深圳舉辦了聚焦於遊戲資料分析的沙龍活動,特邀了九九互動的技術總監張雷老師進行分享。在本次活動中,張雷老師分享了九九互動內部資料體系從0起步,再到資料賦能專案組,實現資料驅動精細運營的整個迭代過程。張雷老師的整場分享粗中有細,都是實戰心得,道出了遊戲行業資料部門在支援專案組過程中的辛酸苦辣,在活動現場引起了大家的共鳴。本文為活動現場張雷老師的內容部分實錄,需要觀看完整視訊的可以訪問數數科技官網。

數說變革丨走進深圳

大家好,我是來自九九互動的張雷,感謝數數科技的邀請,今天有幸在這裡跟大家做一次交流,如果我的分享裡能有一兩句話可以讓大家共鳴乃至所有啟發,這一次的交流就算是有價值的了。

今天來的大多數同學應該對九九互動不甚瞭解,所以請允許我用一點時間對我司做簡短的介紹。這是九九互動主打的三個產品,這三個產品都是休閒社交類的遊戲,輕量級產品。九九是今年初才開始接入TA系統,所以從早期的決策,到TA落地,到下半年的深度使用,都還歷歷在目,因此我今天的分享也是在對這一年的回顧。

1. 為什麼選擇數數科技的TA系統

這個問題看起來很簡單,資料分析系統是一個資料團隊一定會需要的,但是在什麼時候需要,具體需要什麼樣的分析系統,卻又不那麼簡單。公司在早期是沒有專門的資料團隊的,一開始就是開發自己搞,怎麼快怎麼來,業務功能更重要,資料在這個階段的作用就是粗暴的統計。後來開發不願意做了,就抽出來一個人專門做資料包表,這就是資料團隊的雛形,他一個人要承接所有的資料需求,由於沒有規範,沒有標準,累得要死,經常是五六個產品運營圍著他要資料。

18年初,我們開始梳理流程,提升資料質量,使用了新的數倉,統一資料埋點的格式和指標口徑,大大提升了取數和生成報表的效率,資料質量也開始穩定起來。19年,我們研發了離線的資料包表平臺,通過模板化配置化的方式,進一步提高了資料效能,回頭再看17年和18年的混亂,恍如隔世。看起來一切都挺好,但其實暗流湧動。

業務:“找資料團隊取個數還得排期?要不直接把人安排到工作室專門給我們取數和做報表吧。” “這個報表挺複雜,但我就是需要。” “小時報表太慢了,能不能再快些?”

資料:“ 整天就是取數,寫SQL跑報表,沒成長,沒意思。業務還很強勢,各種奇葩需求都得滿足,不開心。”

老闆:“ 資料團隊很辛苦,但價值沒體現出來,做了這麼多報表,也不知道各個報表之間的資料有什麼關聯?”

乾貨|九九互動的資料效能提升之路

我們國內發行想要做到國內首屈一指,對投放效果的快速驗證是核心能力,1小時的驗證週期已經爛大街,他們需要的是分鐘級的驗證週期。如果一個分析系統還需要運營人員懂點SQL才能用好,這是一個成本極高的事情,至少在我司2年裡還沒有落地,手把手教都沒用,屁股決定腦袋,運營沒有動力去學。我們也對比過雲產品和各類開源產品,最後還是選擇了商業化產品,最根本的因素就是成本,時間是成本,研發資源是成本,後期維護也是成本,在公司的不同階段,對成本的重視程度完全不同,作為一個早期的創業公司,最看重的是工具的ROI。使用者體驗非常重要,我們接觸過很多的商業產品,但用起來就是覺得怪怪的,TA就沒有這種感覺。運維全部交給數數,響應速度非常快,非常放心。有的商業產品要一口價300萬,有的商業產品按事件量收費(不適合專案爆發),按我們當前的量級來估算,成本會高得驚人。

乾貨|九九互動的資料效能提升之路

2. 使用TA系統期間遇到的問題和解決方式

我們用了三個月的時間落地,中間還是踩了挺多的坑,這裡做個簡單的分享。資料匯入後的準確性是最重要的,可以說匯入的資料一條都不能錯,我們在這上面踩了挺多坑,花了大量的時間。所以在前期用小規模驗證是非常非常有必要的。

乾貨|九九互動的資料效能提升之路

3. 使用TA系統的一些經驗分享

TA系統的看板功能還是比較強大的。基本能夠配置出各種效果的總體看板,然後可以通過探索功能不停地下鑽,幫助運營找到歸因。看板的功能不是我分享的重點,我們每天有超過10億條的事件上報,運營如何有效地關注資料,這就涉及到看板的設計,在這裡我分享一下內部對看板設計的一些思路,我們大概分成三類:

1. 總體看板

這是製作人層面關注的最核心的指標,比如收入、投放、DAU、ARPU 、註冊、留存等等,這是一個專案的健康指標,通過TA可以檢視各指標的明細。

2. 專項看板

比如運營活動、支付、遊戲核心玩法等。

3. 基於自定義關聯性模型看板

主要是用於觀察和驗證模型的效果,比如我們做的自傳播模型看板,可以很直觀評估投放渠道的優劣,通過這樣的設計可以讓運營更聚焦。

乾貨|九九互動的資料效能提升之路

除此之外,TA系統的這幾個功能也都幫我們解決了很多實質性的問題:

1. 事件分析模型

功能非常強大而且靈活,比如我們可以一次性把遊戲的所有指標全都配置出來,而且準確性高,我們發現過幾次舊系統和他的報表資料對不上的情況,無一例外都是我們舊系統的SQL寫錯了。

2. 留存模型

不僅僅是計算留存,而是符合先有x行為,後有y行為的模式都可以套用的模型,比如我們用這個來計算LTV。這個模式在我們分析場景中非常常見。

3. 使用者標籤功能

我們可以較為簡單地將RFM模型落地,並通過事件分析跟蹤它提升在某個物品道具的付費效果。之前運營都是拍腦袋定價格,現在有了使用者分層後,定價就有了資料依據。

4. 虛擬屬性

這是非常有用的功能,可以減少我們在前期的很多工作,比如我們上報的移動端系統資訊,由於歷史原因,報的粒度很粗,由於資料量的緣故,也不可能全部重新清洗,這時候用虛擬屬性,就可以很簡單解決這些問題,把手機品牌從系統資訊裡分離出來。除了這個,我們還利用虛擬屬性設定了使用者的生命週期,即動態地把當前事件時間與註冊時間的差值作為生命週期,這個指標在我們的分析中被重度使用。

5. 報表需求

這是系統目前所無法直接配置出來的,這時候SQL IDE就有用了,特別是新版本上線後,已經支援從外部資料來源讀取資料生成列表,極大地補充了他的全面性。

我們通過他的API ,把一部分的資料包裝成服務提供給業務,比如業務需要對各種使用者進行推送。我們用API把業務自定義的所有使用者標籤拉取出來,供運營在運營中心上使用,實現一個半自動化的推送效果。

TA提供了簡單的告警配置,可以對一些核心指標進行波動性監控,我們國內發行的所有專案都在使用這個功能。TA可以查詢使用者的所有事件,這個功能被我們拿來當做客服功能,之前的數倉無法儲存太久的明細資料,很多時候都需要去找開發撈資料,效率很低,現在用這種方式就可以知道使用者發生的所有行為。之前業務追著我們要資料,現在是追著我們幫他們分析,甚至有運營問我們資料團隊是不是沒啥事做了。

4. TA系統對我們產生的價值

好的工具產生的效果有時候真的會讓人驚訝,運營跟我反饋,用了TA之後,他們對資料的理解明顯加深了,過去因為工具不夠便利,想驗證個想法都要等好久,久而久之,就把思考的火花給磨沒了,接入TA後,所有資料都可以用各種維度查詢展示,用得越來越爽,從而激發了對資料的好奇和興趣。我們舊的系統是離線資料,TA是實時資料,兩者的資料來源頭是一致的,所以也算是一體化的初級實現了。目前在比較理想情況下,我們的國內發行可以在10幾分鐘內就判定當前渠道的優劣。

乾貨|九九互動的資料效能提升之路

5. 未來我們將更好的使用TA系統

他的架構是presto+kudu+hdfs, 我們的全量資料都在hdfs上,完全可以充分利用這些硬體,而TA也是支援外部對這些hdfs的讀寫,只要不破壞他自身結構即可。我們的業務經常會在某個地區爆發,部署獨立的計算叢集是一種價效比較高的方式,可以快速擴容和縮容我們仍然有一些報表在舊系統,需要用他的SQL IDE來生成報表,TA後續會優化這類報表的體驗。相信在未來我們也會更好使用TA系統,我今天的分享就是這些,謝謝大家。

乾貨|九九互動的資料效能提升之路

相關文章