騰訊QQ大資料：聚類演算法如何應用在營收業務中——個性化催費的嘗試

背景

“尊敬的XXX使用者，您的話費已不足10元。為了您的正常使用，請及時充值。”

——移動公司

“溫馨提示：XXX先生/小姐，您的住房貸款將於11月5日扣款，請在此賬號中存足款項。”

——家銀行

就算是在尊敬的稱謂，就算是再溫馨的話語，還是感覺有些冷冰事故，千里追債。

通訊和金融業務，算是每個現代人的“剛性”需求。收到催費通知尚且不爽，何況是偏向娛樂的網際網路業務催費通知。如何能讓人覺得不突兀，稍微有點打動人心的感覺？以3年前某業務合作案例為例，拋磚引玉，與各位一起討論從資料角度發現資料規律，同樣是讓使用者付費場景，通過挖掘出不同使用者的付費G點，以不同群體推送不同文案與圖片的方式實現個性化催費，推動業務增長。

資料探索過程中12個字感悟：大膽想象，敢於嘗試，小心驗證

7步驟完成整個流程

行動

Step 1：大膽想象

和“傳統”壟斷行業相比，我們有哪些優勢？

有數字化的使用者資料。以計算機和網路為框架的服務模式，天然將使用者屬性和行為數字化並記錄下來，變成和營收一樣，公司最大的資產。

哪種服務是溫度的，能打動人心的？

唯有高階私人定製。不管是葛大爺、白百何電影中的“圓夢方案”，還是大眾輝騰使館區的線下定製中心，均體現出濃濃的頂級個性化的感覺，紅塵萬千，只為伊人。這不正是網際網路服務的終極嗎？個性服務，千人千面。然而圓夢方案終究燈亮散場，低調輝騰亦低調隱退。

為什麼？粒度太細，難以形成規模效益，導致每一單的成本太高，整體盈利太少。催費如果要做到真正千人千面，投入太高，收益暫時難以評估。所以初期嘗試，我們化“點”為“面”，粒度不是每個人，而是某類人。

Step 2：資料發現挖掘點

演算法+資料 => 增長點

如何化“點”為“面”，識別人群，在事先沒有預期目標的情況下，稱手的工具就是聚類演算法了。

• 1 演算法

聚類演算法簡單來講，就是把全部物件按照其特徵的距離遠近，劃分成若干簇。這些簇滿足以下條件：

1）一個簇內部物件距離近

2）不同簇物件的距離遠

類似於上圖顯示的效果，中心點為叢集的核心，圍繞中心點近的一批就是同一個簇。很容易分出來不同類別，不同業務特性的群體。分群體運營，比較容易獲得更好的效果。

舉個例子，比如某個業務的特徵包括以下幾類，具體應該如何應用聚類演算法呢？

• 2 特徵標準化

收集完上述行為資料後，需要對資料做“標準化”處理。標準化方式方法很多，這裡做一個簡單舉例。

為什麼要做標準化處理？這涉及到聚類演算法K-means的實現原理。K-means是一種基於距離的迭代式演算法，它將n個觀察例項分類到k個聚類中，以使得每個觀察例項距離它所在的聚類的中心點比其他的聚類中心點的距離更小。其中，距離的計算方式可以是歐式距離（2-norm distance），或者是曼哈頓距離（Manhattan distance,1-norm distance）或者其他。以我們初中學的歐式距離為例

其中為兩個物件的對應特徵量，比如都是播放時長，單位為秒。同理為周播放天數。秒的量綱遠遠大於周播放天數，一首2分鐘的歌曲有120秒的播放時長，一週無休播放，也只有7天的播放天數。最終導致播放天數對距離計算影響小，聚類特性偏向播放時長。其他常用的計算距離方法同樣存在類似問題，比如：

曼哈頓距離：

閩科夫斯基距離：

解決思路在於無量綱化，方法就是標準化。

我們這次採用的是Z-score標準化，公式如下：

其中x為某一具體分數，μ為平均數，σ為標準差。

標準分數可以回答這樣一個問題：”一個給定分數距離平均數多少個標準差?”在平均數之上的分數會得到一個正的標準分數，在平均數之下的分數會得到一個負的標準分數。

• 3 聚類結果輸出與解釋

得到三個有業務意義的簇，在三維空間上的投影如下：（由於業務敏感性，忽略具體描述）

可以看到，每種類別在空間中的位置和集中程度都有區別，我們就根據這些差異總結出上面三種型別的不同特點。接下來依據不同特點做不同的催費方式。

Step 3：產品溝通

與產品溝通，推動方案落地。由於業務關係，這裡不做累述

說服產品經驗技巧：

• 深知運營痛點，瓶頸點

• 成功案例舉證（首個案例，靠個人或團隊影響力）

• 演算法初探舉例

Step 4：線上測試

我們需要一種快速的，低成本的驗證方法。在整體流程不變，後臺介面不變的約束下，有什麼替換圖片與文件的方法更快速，風險和成本更低呢？通過多次迭代優化，所以最終效果如下：通過改變紫色框中的圖片與紅色框中的文案，對不同使用者群體進行不同圖片與文案觸達

Step 5：效果跟蹤與評估

7天流量灰度測試的結果如下：

• 1 常規的線上實際轉化效果對比

衡量指標：成功傳送催費訊息到支付成功轉化率均值

炫耀型：x1%    享受型：x2%    扮酷型：x3%    參照組：c1%

x2 > x1 > x3 > c1

• 2 因素影響顯著性論證

好了，看到實驗組的均值高於參照組，說明有效果。擴大灰度、發郵件、收工了？那麼問題來了，如何知道上述效果是個性化文案導致的，還是環繞周圍的隨機性造成的？

將這個問題轉換為統計學的問題，實驗組和參照組的均值差異是顯著的？

我們可以使用方差分析來嘗試解答。方差分析(Analysis of Variance，簡稱ANOVA)，又稱“變異數分析 ”，是R.A.Fisher發明的，用於兩個及兩個以上樣本 均數差別的顯著性檢驗 。

工具我們使用喜聞樂見的R，套路如下：

由此我們可以大致認為，不同組的均值差異受不可控隨機因素影響的可能性小，差異來自可控因素，基於使用者行為的個性化文字的影響。

Step 6：自動化運營

使用者資料+模型例行化，各介面聯調，部署上線

Step 7：效果監控

通過郵件，簡訊，QQ，微信等各種形式對效果進行長期監控，關注變化情況及時優化。

參考文獻

[1]. Z-score

http://baike.baidu.com/link?url=n2HbtKxAC_wAyGEJMN-D7wwZNg2B3-dFa-0W9W8sAFJWf5BTry5hIAG6RlFWl-zlWNUUJht85XhoLIy4Hg9Gj_

[2]. 歸一化

http://baike.baidu.com/link?url=egN4K40qIsxRxknS6uvOlL63MFGx5LCUq12ojBI-3caMRCYAM5WihO_o2t6vHP0rQKfyei-LKVuN7kbg4HExRK

[3]. K-means

http://www.cnblogs.com/bourneli/p/3645049.html

[4]. 方差分析

http://baike.baidu.com/link?url=-OkUo0mu0bfo9-F9PjvVXR5rdk02I16lJT3UHXDy0I66je4e0t2s-8dpAHW6FxYWf8m36hP-Bs69CJMH-MUJ-lyrRtqbKB9nFQZ0qregXmNvqO0deQNEOT4w_RJ9EaNw