乾貨 ：基於使用者畫像的聚類分析

聚類（Clustering），顧名思義就是“物以類聚，人以群分”，其主要思想是按照特定標準把資料集聚合成不同的簇，使同一簇內的資料物件的相似性儘可能大，同時，使不在同一簇內的資料物件的差異性儘可能大。通俗地說，就是把相似的物件分到同一組。

聚類演算法通常不使用訓練資料，只要計算物件間的相似度即可應用演算法。這在機器學習領域中被稱為無監督學習。

 

某大型保險企業擁有海量投保客戶資料，由於大資料技術與相關人才的緊缺，企業尚未建立統一的資料倉儲與運營平臺，積累多年的資料無法發揮應有的價值。企業期望搭建使用者畫像，對客戶進行群體分析與個性化運營，以此啟用老客戶，挖掘百億續費市場。眾安科技資料團隊對該企業資料進行建模，輸出使用者畫像並搭建智慧營銷平臺。再基於使用者畫像資料進行客戶分群研究，制訂個性化運營策略。

 

本文重點介紹聚類演算法的實踐。對使用者畫像與個性化運營感興趣的親們，請參閱本公眾號其他文章。

 

Step 1 資料預處理

任何大資料專案中，前期資料準備都是一項繁瑣無趣卻又十分重要的工作。

首先，對資料進行標準化處理，處理異常值，補全缺失值，為了順利應用聚類演算法，還需要使使用者畫像中的所有標籤以數值形式體現。

其次要對數值指標進行量綱縮放，使各指標具有相同的數量級，否則會使聚類結果產生偏差。

接下來要提取特徵，即把最初的特徵集降維，從中選擇有效特徵放進聚類演算法裡跑。眾安科技為該保險公司定製的使用者畫像中，存在超過200個標籤，為不同的運營場景提供了豐富的多維度資料支援。但這麼多標籤存在相關特徵，假如存在兩個高度相關的特徵，相當於將同一個特徵的權重放大兩倍，會影響聚類結果。

我們可以通過關聯規則分析（Association Rules）發現並排除高度相關的特徵，也可以通過主成分分析（Principal Components Analysis，簡稱PCA）進行降維。這裡不詳細展開，有興趣的讀者可以自行了解。

 

Step 2 確定聚類個數

層次聚類是十分常用的聚類演算法，是根據每兩個物件之間的距離，將距離最近的物件兩兩合併，合併後產生的新物件再進行兩兩合併，以此類推，直到所有物件合為一類。

Ward方法在實際應用中分類效果較好，應用較廣。它主要基於方差分析思想，理想情況下，同類物件之間的離差平方和儘可能小，不同類物件之間的離差平方和應該儘可能大。該方法要求樣品間的距離必須是歐氏距離。

值得注意的是，在R中，呼叫ward方法的名稱已經從“ward”更新為“ward.D”。

 

library(proxy)

Dist <- dist(data,method='euclidean') #歐式距離

clusteModel <- hclust(Dist, method='ward.D')

plot(clusteModel)

 

根據R繪製的層次聚類影像，我們對該企業的客戶相似性有一個直觀瞭解，然而單憑肉眼，仍然難以判斷具體的聚類個數。這時我們通過輪廓係數法進一步確定聚類個數。

 

輪廓係數旨在對某個物件與同類物件的相似度和與不同類物件的相似度做對比。輪廓係數取值在-1到1之間，輪廓係數越大時，表示對應簇的數量下，聚類效果越好。

library(fpc)

K <- 3:8

round <- 30 # 避免區域性最優

rst <- sapply(K,function(i){

    print(paste("K=",i))

    mean(sapply(1:round,function(r){

        print(paste("Round",r))

        result<- kmeans(data, i)

        stats<- cluster.stats(dist(data), result$cluster)

        stats$avg.silwidth

    }))

})

plot(K,rst,type='l',main='輪廓係數與K的關係',ylab='輪廓係數')

 

在輪廓係數的實際應用中，不能單純取輪廓係數最大的K值，還需要考慮聚類結果的分佈情況（避免出現超大群體），以及從商業角度是否易於理解與執行，據此綜合分析，探索合理的K值。

綜上，根據分析研究，確定K的取值為7。

 

Step 3  聚類

K-means是基於距離的聚類演算法，十分經典，簡單而高效。其主要思想是選擇K個點作為初始聚類中心， 將每個物件分配到最近的中心形成K個簇，重新計算每個簇的中心，重複以上迭代步驟，直到簇不再變化或達到指定迭代次數為止。K-means演算法預設使用歐氏距離來計算。

library(proxy)

library(cluster)

clusteModel <- kmeans(data, centers = 7, nstart =10)

clusteModel$size

result_df <- data.frame(data,clusteModel$cluster)

write.csv(result_df, file ="clusteModel.csv", row.names = T, quote = T) 

 

Step 4 聚類結果分析

對聚類結果（clusteModel.csv）進行資料分析，總結群體特徵：

 

cluster=1：當前價值低，未來價值高。（5.6%）

cluster=2：當前價值中，未來價值高。（5.4%）

cluster=3：當前價值高，未來價值高。（18%）

cluster=4：當前價值高，未來價值中低。（13.6%）

cluster=5：高價值，穩定群。（14%）

cluster=6：當前價值低，未來價值未知（可能資訊不全導致）。（2.1%）

cluster=7：某一特徵的客戶群體（該特徵為業務重點發展方向）。（41.3%）

 

根據分析師與業務團隊的討論結果，將cluster=1與cluster=6進行合併，最終得到6個客戶群體，並針對客戶群體制訂運營策略。

 

客戶分群與運營策略

（業務敏感資訊打碼）

本文轉自：眾安數盟；

END

如果你對人工智慧與機器學習感興趣，請加交流群：群號:139482724 ；

版權宣告：本號內容部分來自網際網路，轉載請註明原文連結和作者，如有侵權或出處有誤請和我們聯絡。

---

關聯閱讀：

原創系列文章：

1：從0開始搭建自己的資料運營指標體系（概括篇）

2 ：從0開始搭建自己的資料運營指標體系（定位篇）

3 ：從0開始搭建自己的資料運營體系（業務理解篇）

4 ：資料指標的構建流程與邏輯

5 ：系列 ：從資料指標到資料運營指標體系

6:   實戰 ：為自己的公號搭建一個資料運營指標體系

7:  從0開始搭建自己的資料運營指標體系（運營活動分析）

資料運營 關聯文章閱讀：  

運營入門，從0到1搭建資料分析知識體系    

推薦 ：資料分析師與運營協作的9個好習慣

乾貨 ：手把手教你搭建資料化使用者運營體系

推薦 ：最用心的運營資料指標解讀

乾貨 : 如何構建資料運營指標體系

從零開始，構建資料化運營體系

乾貨 ：解讀產品、運營和資料三個基友關係

乾貨 ：從0到1搭建資料運營體系

資料分析、資料產品 關聯文章閱讀：

乾貨 ：資料分析團隊的搭建和思考

關於使用者畫像那些事，看這一文章就夠了

資料分析師必需具備的10種分析思維。

如何構建大資料層級體系，看這一文章就夠了

乾貨 ： 聚焦於使用者行為分析的資料產品

如何構建大資料層級體系，看這一文章就夠了

80%的運營註定了打雜？因為你沒有搭建出一套有效的使用者運營體系

從底層到應用，那些資料人的必備技能

讀懂使用者運營體系：使用者分層和分群

做運營必須掌握的資料分析思維，你還敢說不會做資料分析