乾貨|九九互動的資料效能提升之路
![乾貨|九九互動的資料效能提升之路](https://di.gameres.com/attachment/forum/202101/12/094244lcdov6mv6hmdc753.gif)
2020年12月19日,數數科技在深圳舉辦了聚焦於遊戲資料分析的沙龍活動,特邀了九九互動的技術總監張雷老師進行分享。在本次活動中,張雷老師分享了九九互動內部資料體系從0起步,再到資料賦能專案組,實現資料驅動精細運營的整個迭代過程。張雷老師的整場分享粗中有細,都是實戰心得,道出了遊戲行業資料部門在支援專案組過程中的辛酸苦辣,在活動現場引起了大家的共鳴。本文為活動現場張雷老師的內容部分實錄,需要觀看完整視訊的可以訪問數數科技官網。
數說變革丨走進深圳
大家好,我是來自九九互動的張雷,感謝數數科技的邀請,今天有幸在這裡跟大家做一次交流,如果我的分享裡能有一兩句話可以讓大家共鳴乃至所有啟發,這一次的交流就算是有價值的了。
今天來的大多數同學應該對九九互動不甚瞭解,所以請允許我用一點時間對我司做簡短的介紹。這是九九互動主打的三個產品,這三個產品都是休閒社交類的遊戲,輕量級產品。九九是今年初才開始接入TA系統,所以從早期的決策,到TA落地,到下半年的深度使用,都還歷歷在目,因此我今天的分享也是在對這一年的回顧。
1. 為什麼選擇數數科技的TA系統
這個問題看起來很簡單,資料分析系統是一個資料團隊一定會需要的,但是在什麼時候需要,具體需要什麼樣的分析系統,卻又不那麼簡單。公司在早期是沒有專門的資料團隊的,一開始就是開發自己搞,怎麼快怎麼來,業務功能更重要,資料在這個階段的作用就是粗暴的統計。後來開發不願意做了,就抽出來一個人專門做資料包表,這就是資料團隊的雛形,他一個人要承接所有的資料需求,由於沒有規範,沒有標準,累得要死,經常是五六個產品運營圍著他要資料。
18年初,我們開始梳理流程,提升資料質量,使用了新的數倉,統一資料埋點的格式和指標口徑,大大提升了取數和生成報表的效率,資料質量也開始穩定起來。19年,我們研發了離線的資料包表平臺,通過模板化配置化的方式,進一步提高了資料效能,回頭再看17年和18年的混亂,恍如隔世。看起來一切都挺好,但其實暗流湧動。
業務:“找資料團隊取個數還得排期?要不直接把人安排到工作室專門給我們取數和做報表吧。” “這個報表挺複雜,但我就是需要。” “小時報表太慢了,能不能再快些?”
資料:“ 整天就是取數,寫SQL跑報表,沒成長,沒意思。業務還很強勢,各種奇葩需求都得滿足,不開心。”
老闆:“ 資料團隊很辛苦,但價值沒體現出來,做了這麼多報表,也不知道各個報表之間的資料有什麼關聯?”
![乾貨|九九互動的資料效能提升之路](https://di.gameres.com/attachment/forum/202101/12/094244r3mmpixm0a0av3mi.jpg)
我們國內發行想要做到國內首屈一指,對投放效果的快速驗證是核心能力,1小時的驗證週期已經爛大街,他們需要的是分鐘級的驗證週期。如果一個分析系統還需要運營人員懂點SQL才能用好,這是一個成本極高的事情,至少在我司2年裡還沒有落地,手把手教都沒用,屁股決定腦袋,運營沒有動力去學。我們也對比過雲產品和各類開源產品,最後還是選擇了商業化產品,最根本的因素就是成本,時間是成本,研發資源是成本,後期維護也是成本,在公司的不同階段,對成本的重視程度完全不同,作為一個早期的創業公司,最看重的是工具的ROI。使用者體驗非常重要,我們接觸過很多的商業產品,但用起來就是覺得怪怪的,TA就沒有這種感覺。運維全部交給數數,響應速度非常快,非常放心。有的商業產品要一口價300萬,有的商業產品按事件量收費(不適合專案爆發),按我們當前的量級來估算,成本會高得驚人。
![乾貨|九九互動的資料效能提升之路](https://di.gameres.com/attachment/forum/202101/12/094245g44vk6ckp6p42prp.png)
2. 使用TA系統期間遇到的問題和解決方式
我們用了三個月的時間落地,中間還是踩了挺多的坑,這裡做個簡單的分享。資料匯入後的準確性是最重要的,可以說匯入的資料一條都不能錯,我們在這上面踩了挺多坑,花了大量的時間。所以在前期用小規模驗證是非常非常有必要的。
![乾貨|九九互動的資料效能提升之路](https://di.gameres.com/attachment/forum/202101/12/094246h5osg25xolw5isgo.jpg)
3. 使用TA系統的一些經驗分享
TA系統的看板功能還是比較強大的。基本能夠配置出各種效果的總體看板,然後可以通過探索功能不停地下鑽,幫助運營找到歸因。看板的功能不是我分享的重點,我們每天有超過10億條的事件上報,運營如何有效地關注資料,這就涉及到看板的設計,在這裡我分享一下內部對看板設計的一些思路,我們大概分成三類:
1. 總體看板
這是製作人層面關注的最核心的指標,比如收入、投放、DAU、ARPU 、註冊、留存等等,這是一個專案的健康指標,通過TA可以檢視各指標的明細。
2. 專項看板
比如運營活動、支付、遊戲核心玩法等。
3. 基於自定義關聯性模型看板
主要是用於觀察和驗證模型的效果,比如我們做的自傳播模型看板,可以很直觀評估投放渠道的優劣,通過這樣的設計可以讓運營更聚焦。
![乾貨|九九互動的資料效能提升之路](https://di.gameres.com/attachment/forum/202101/12/094246ledcekd5d5n5wcnn.jpg)
除此之外,TA系統的這幾個功能也都幫我們解決了很多實質性的問題:
1. 事件分析模型
功能非常強大而且靈活,比如我們可以一次性把遊戲的所有指標全都配置出來,而且準確性高,我們發現過幾次舊系統和他的報表資料對不上的情況,無一例外都是我們舊系統的SQL寫錯了。
2. 留存模型
不僅僅是計算留存,而是符合先有x行為,後有y行為的模式都可以套用的模型,比如我們用這個來計算LTV。這個模式在我們分析場景中非常常見。
3. 使用者標籤功能
我們可以較為簡單地將RFM模型落地,並通過事件分析跟蹤它提升在某個物品道具的付費效果。之前運營都是拍腦袋定價格,現在有了使用者分層後,定價就有了資料依據。
4. 虛擬屬性
這是非常有用的功能,可以減少我們在前期的很多工作,比如我們上報的移動端系統資訊,由於歷史原因,報的粒度很粗,由於資料量的緣故,也不可能全部重新清洗,這時候用虛擬屬性,就可以很簡單解決這些問題,把手機品牌從系統資訊裡分離出來。除了這個,我們還利用虛擬屬性設定了使用者的生命週期,即動態地把當前事件時間與註冊時間的差值作為生命週期,這個指標在我們的分析中被重度使用。
5. 報表需求
這是系統目前所無法直接配置出來的,這時候SQL IDE就有用了,特別是新版本上線後,已經支援從外部資料來源讀取資料生成列表,極大地補充了他的全面性。
我們通過他的API ,把一部分的資料包裝成服務提供給業務,比如業務需要對各種使用者進行推送。我們用API把業務自定義的所有使用者標籤拉取出來,供運營在運營中心上使用,實現一個半自動化的推送效果。
TA提供了簡單的告警配置,可以對一些核心指標進行波動性監控,我們國內發行的所有專案都在使用這個功能。TA可以查詢使用者的所有事件,這個功能被我們拿來當做客服功能,之前的數倉無法儲存太久的明細資料,很多時候都需要去找開發撈資料,效率很低,現在用這種方式就可以知道使用者發生的所有行為。之前業務追著我們要資料,現在是追著我們幫他們分析,甚至有運營問我們資料團隊是不是沒啥事做了。
4. TA系統對我們產生的價值
好的工具產生的效果有時候真的會讓人驚訝,運營跟我反饋,用了TA之後,他們對資料的理解明顯加深了,過去因為工具不夠便利,想驗證個想法都要等好久,久而久之,就把思考的火花給磨沒了,接入TA後,所有資料都可以用各種維度查詢展示,用得越來越爽,從而激發了對資料的好奇和興趣。我們舊的系統是離線資料,TA是實時資料,兩者的資料來源頭是一致的,所以也算是一體化的初級實現了。目前在比較理想情況下,我們的國內發行可以在10幾分鐘內就判定當前渠道的優劣。
![乾貨|九九互動的資料效能提升之路](https://di.gameres.com/attachment/forum/202101/12/094246d6rh76crcdzc6pk7.jpg)
5. 未來我們將更好的使用TA系統
他的架構是presto+kudu+hdfs, 我們的全量資料都在hdfs上,完全可以充分利用這些硬體,而TA也是支援外部對這些hdfs的讀寫,只要不破壞他自身結構即可。我們的業務經常會在某個地區爆發,部署獨立的計算叢集是一種價效比較高的方式,可以快速擴容和縮容我們仍然有一些報表在舊系統,需要用他的SQL IDE來生成報表,TA後續會優化這類報表的體驗。相信在未來我們也會更好使用TA系統,我今天的分享就是這些,謝謝大家。
![乾貨|九九互動的資料效能提升之路](https://di.gameres.com/attachment/forum/202101/12/094246wq8guu8o8clcc6x5.png)
相關文章
- [乾貨]資料互動與本地儲存
- javascript效能提升之路JavaScript
- 乾貨滿滿 | 美團資料庫運維自動化系統構建之路資料庫運維
- 乾貨分享 | 阿里專家親授如何提升研發效能阿里
- 一條Jmeter效能測試精通之路影片(52集乾貨)JMeter
- 乾貨 | 資料為王,攜程國際火車票的 ShardingSphere 之路
- Hybrid小程式混合開發之路 – 資料互動
- 千字乾貨分享 | 講透資料分析,10倍提升你的分析力
- 乾貨:mysql索引的資料結構MySql索引資料結構
- 乾貨|效能提升金鑰,由程式碼細節帶來的極致體驗
- 乾貨!谷歌推薦的技術能力提升指南谷歌
- 資料互動
- 提升資料庫效能的8點要求資料庫
- 乾貨 | 京東技術中臺的Flutter實踐之路Flutter
- 乾貨收藏 | 如何優化前端效能?優化前端
- 乾貨 | 影像資料增強實戰
- 【虹科乾貨】使用記憶體資料庫解決三個資料庫效能問題記憶體資料庫
- WPF和js互動 WebBrowser資料互動JSWeb
- Flask資料互動Flask
- 超實用乾貨!互動設計中如何簡化複雜操作?
- 資料庫效能提升終極指南資料庫
- AI客服上線 乾貨 乾貨 全是乾貨!AI
- 乾貨 :如何看穿資料視覺化的謊言視覺化
- 純乾貨分享 —— 大資料入門指南大資料
- 【乾貨】MySQL資料庫開發規範MySql資料庫
- 資料視覺化實用乾貨分享視覺化
- Hive 與 ElasticSearch 的資料互動HiveElasticsearch
- 40+倍提升,詳解 JuiceFS 後設資料備份恢復效能優化之路UI優化
- 資料互動筆記筆記
- RangeBitmap提升Java流資料過濾效能Java
- 【虹科乾貨】無模式資料庫的利與弊模式資料庫
- 乾貨分享:資料分析的6大基本步驟
- 乾貨 | 攜程日誌系統治理演進之路
- [Android]高效能MMKV資料互動分析-MMKV初始化Android
- 讓雲伺服器效能提升10倍的方法,再也不用擔心週報沒有乾貨了!伺服器
- 乾貨:PHP與大資料開發實踐PHP大資料
- 【虹科乾貨】關於JSON資料庫JSON資料庫
- 所有權背後的資料互動