閒魚是如何實踐一套完整的埋點自動化驗證方案的？

背景

作為一款國民級二手交易App，閒魚每天都有成千上萬的二手閒置商品釋出，精準的個性化的商品推薦是促進閒魚使用者快速成交的秘訣。搜尋推薦演算法的精準和埋點資料的準確性息息相關。一旦埋點資料出現問題，使用者側就會出現推薦商品不準確、過度推薦等問題，同時宏觀的交易大盤資料的統計也會有偏差，進而影響整個商品運營策略，因此採取有效的手段來保障埋點質量就成為了閒魚客戶端質量保障的關鍵的一環。

問題

過去的一年閒魚客戶端在首頁、搜尋、商品釋出等核心場景下進行App體驗最佳化與升級，在客戶端快速迭代過程中經常會出現UI改版之後某些關鍵埋點沒有上報、埋點關鍵欄位缺失、埋點欄位值不正確等問題，而這些問題線上下測試的時候由於不影響使用者體感而被忽略，往往客戶端版本釋出之後演算法或者資料同學察覺到資料異常才會回過頭來定位埋點問題，問題修復代價很高，通常會追加客戶端版本或者開關降級來解決埋點異常的問題。透過對迭代過程中出現的問題覆盤得出來主要有以下的急需解決的問題

•哪些是我們需要重點保障的核心埋點

•如何開展有效的線下埋點測試

•如何提高埋點問題的排除效率

針對以上問題，閒魚技術質量團隊結合自身業務特點提供了一套低侵入埋點質量保障方案

埋點質量保障方案

閒魚端上承載著數以萬計的埋點，且隨著業務的增長埋點個數也在不停地增多，而這些埋點由於歷史原因都沒有沉澱相關的說明文件，依賴開發、資料、產品同學主動梳理埋點資料顯然是一件耗時費力又容易出錯的事情，所以針對端上埋點質量保障我們的核心思想是：透過歷史資料的分析和人工干預生成埋點畫像（校驗規則、值特徵），優先保障核心埋點，並提供自動化測試和埋點版本對比來提升埋點資料交付的信心。

如圖所示為閒魚端內埋點質量保障方案，埋點資料hook後進行資料的抄送，抄送的埋點資料會分為兩部分，一部分樣本會交給埋點分析服務提取埋點的Key/Value特徵，進而生產埋點的校驗規則；另一部分核心埋點會交給驗證服務處理，參考已生成的校驗規則和人工干預的校驗條件會對這部分資料進行逐個校驗，最後在版本灰度釋出前也會提供埋點的版本比對功能來確定核心埋點是否漏報。

核心埋點梳理

首先需要從成千上萬的埋點中圈選出重點保障的埋點，圈選的原則是

•埋點資料缺失/異常會導致搜尋推薦演算法精準性

•埋點資料缺失/異常會導致大盤統計資料偏差

•埋點資料缺失/異常會導致運營投放策略

滿足上述條件的都會被標記為閒魚客戶端核心埋點。前期我們梳理了閒魚首頁、同城、關注、搜尋、詳情等場景，並透過埋點所屬頁面（PAGE）、事件標識（ARG1）、事件型別（EVENTID）進行核心埋點的標記，最終在後續的測試中也更側重於這部分核心埋點，而這部分的埋點的校驗規則則是由樣本資料分析和人工規則干預得出的。

埋點資料上報

圈選出核心埋點之後，接著需要解決的問題就是如何獲取客戶端埋點資料。閒魚端上整合的埋點SDK是透過實時上報通道對埋點資料進行上報，上報後資料經過處理後會最終落到數倉中，所以說要拿到埋點資料可以從數倉中取資料，也可以在端上下功夫。由於數倉取數存在資料實時性不高、資料量大、呼叫鏈路長等問題，最終選取了客戶端埋點抄送的方案。透過對端上埋點上報通道的hook來實現每一個埋點資料抄送。

例如在Android端我們採用的是AOP切面攔截的方式對開發包的埋點資料進行截獲然後透過HttpAPI抄送到資料接收服務。當然採用這種直接攔截程式碼的方式做資料抄送需要熟悉程式碼邏輯，做最小化的侵入。除了AOP切面攔截，類似的通用技術方案Frida^[1]也是不錯的選擇。

埋點校驗規則

有了埋點資料之後接下來就是補全核心埋點的特徵，例如埋點上報哪些欄位、欄位是必須上報的、欄位的值是離散的還是可列舉的、欄位在上下文場景中值的特點。後端的資料處理就會根據核心埋點的分佈和版本上報資料進行樣本的提取，對每個樣本逐欄位進行檢查，並統計Key的分佈、Value的分佈，當樣本數達到閾值之後根據歷史Key/Value分佈資料就能得出以下的基礎校驗規則

•Key非空

•Value非空

•Value取值範

上面的基礎規則得出之後進一步對資料進行聚類分析，就可以得出以下的場景校驗規則

•組合Key條件下Value的特徵

例如：透過樣本的聚類分析可以推斷出類似於“同一次搜尋過程中，rn引數必須保持一致”這樣的規則

埋點自動化測試

有了資料和規則接下來就需要自動化測試指令碼大顯身手了。透過手工操作閒魚App能知道對應埋點觸發的時機、頁面等資訊，因此只要編寫自動化測試程式碼替代人工的點選、滑動、瀏覽行為就可以做到埋點的自動化驗證。以搜尋點選核心埋點為例整體的自動化驗證過程示意如下

埋點的自動化測試可以大幅提高埋點回歸的效率，測試同學只需按照版本維護核心埋點自動化用例，就可以在分鐘級別完成閒魚核心埋點的自動化驗證。埋點自動化測試解決了大部分的核心埋點的精準驗證問題，版本比對則是在自動化之上實現埋點Diff的功能，透過不同版本埋點資料的比對快速檢測出新版本中哪些埋點丟了，哪些埋點埋點格式發生了變化，進一步降低人工排除的成本。

總結

閒魚端內埋點質量保障方案對端上侵入較少，透過歷史樣本資料分析免去了人工主動梳理埋點的工作量，目前梳理出閒魚端內重要場景（首頁/關注/同城/搜尋/釋出/詳情）下的核心埋點共計100+，UI自動化驗證整體回歸時間由手工測試耗時0.5天下降為到分鍾級別，快速的版本比對和視覺化的埋點資料展示和篩選也讓埋點問題排查變得更加方便。

在未來我們將繼續從以下兩點來進行方案的整體最佳化：

•埋點自動化將納入端上整合卡點之中，即開發同學整合後就立即觸發埋點的自動化驗證和比對，在整合階段就提早發現埋點問題。

•自動化深度和用例的可維護性方便也是我們需要努力的方向。

希望我們的自動化手段能讓更多技術小二從重複勞動中釋放出來，提升資料質量的同時也為每一個閒魚的使用者提供貼心的個性化推薦服務，為每一個閒魚使用者提供更好的購物體驗。

References

[1] Frida: