位元組如何利用A/B實驗提升產品使用者留存？

　　導讀：產品增長中最為經典的模型為 AARRR 漏斗模型，該模型追求最大化拉新，第一步“獲客”（Acquisition）環節最為受到重視，而後在“啟用、留存、營收、推薦”環節中不斷最佳化轉化率，實現使用者增長。

　　但當流量紅利見頂，使用者拉新難度和成本倍速上升時，RARRA模型適時出現，新的模型將“使用者留存” (Retention) 視為了第一關注點，使用者留存在產品增長中的重要性上愈加凸顯。留存高，說明產品更能真正滿足使用者需求，當紅利時代過去後，在好產品的基礎上做拉新才有意義。　　

　　本文將圍繞“提升新使用者”留存這一關鍵點展開，以影片 APP 最佳化的真實故事為例，講述位元組的產品團隊如何使用 A/B 測試產品 DataTester 設計 A/B 實驗，並顯著提升了該 APP 的新使用者留存。本案例也是位元組跳動在多年的 A/B 實驗歷程中，一個具有故事性的案例。

　　讀完全文你將可以知曉：一個 A/B 實驗的全生命週期是什麼樣的，以及如何設計和評估一個 A/B 實驗。

　　 01 第一輪 A/B 實驗：理想很豐滿，結果卻很骨感

　　整個案例由針對該 APP 新人引導環節的兩輪 A/B 實驗組成，第一輪 A/B 實驗以“失敗”告終；在第一輪實驗的基礎上，位元組跳動的產品團隊又進行了第二輪實驗，最終獲得了成功，顯著提升了新使用者的留存。

　　該影片 APP 的使用方式與抖音類似，使用者在使用該影片 App 時，可以透過在螢幕上進行[上滑]操作，來讓當前影片跳轉至下一影片。在這過程中，新使用者會看到一個「上滑引導」的指示，該引導的主要作用是告知新使用者：可以透過「上滑」方式跳轉至下個影片。

　　由於當前的上滑引導由靜態的手指圖片及提示文案組成，展現時間比較短，整體上並且沒有呈現出很明顯的“提示上滑”的效果。這就意味著因新使用者很可能看不懂這個提示，進而並沒有學會如何使用該 APP，也就無法體驗到產品的核心價值，最終流失。

　　初始引導式樣如下圖所示：　　

引導樣式1

　　因此產品團隊希望能夠透過 A/B 實驗，最佳化“手指上滑”動作在產品介面中的引導。

　　他們認為，如果讓更多新使用者使用者在初次使用 APP 時就看懂提示，學會正確地「上滑」，預期對新使用者的留存會有提升。因此，該產品設計了新的「上滑引導」方式，並透過 A/B 實驗對新方案的效果進行評估。

　　1. 實驗方案設計：半動態式的引導樣式

　　在明確了產品目前的問題和改進的方向之後，該產品設計了一版改進方案，可以看到，為了加強引導效果，這一版本的「上滑引導」採用了半動態的方式：基礎提示文案固定，螢幕最底端的指示條呈現出自下而上“滾動漸變”的動效。　　

引導樣式 2（產品介面裡為動態指示）

　　為了驗證新方案的效果，該產品團隊制定了在 DataTester 上開設 A/B 實驗的方案，並明確了實驗中需要關注的指標和預期值。

　　目標人群：

　　針對 APP 版本號最新的使用者開啟實驗。

　　實驗變數：

　　對照組 A：線上版本，即實驗背景中所提及的引導樣式1；

　　實驗組 B：採用新樣式，即引導樣式2。

　　指標及預期：

　　實驗開啟前，實驗者需選定關注的指標，並確定這部分指標變化的預期值，這對於確定實驗所需的進組流量以及後續分析實驗效果，都有著至關重要的意義。

　　在本實驗中，「是否學會切換至下一影片的正確姿勢」對「新使用者是否留存」有直接或間接影響，因此，將「新使用者留存」作為評判本次實驗是否成功的核心指標。該產品希望：經由版本改動，新使用者留存可提升 0.5% 且顯著；同時，該產品的其他核心指標需無顯著負向表現。

　　除此之外，由於「上滑引導」改動會直接影響新使用者嘗試切換影片的操作方式，因此，將新使用者「正確進行上滑操作」的滲透率和「錯誤操作」（如進行了下拉重新整理、點選首頁/推薦按鈕等）的滲透率作為評估實驗效果的直接指標。預期正確操作滲透率提升 1% 且顯著；錯誤操作滲透率降低 1% 且顯著。

　　流量與週期：

　　本次 A/B 實驗，產品組在 DataTester 中設定了 10% 的線上流量，對照組和實驗組各佔 5%。實驗週期為 1 個月。

　　2. 實驗結果分析：功能滲透率呈負向

　　在實驗執行了一段時間後，在 DataTester 的介面中，可以看到實時的實驗資料分析。從指標表現來看：

　　衡量實驗是否成功的核心指標——新使用者留存，未見顯著提升；　　

（*虛擬資料）

　　直接效果指標：

　　新使用者進組當日「正確操作-上滑」的滲透率下降約為 1% 且顯著，與預期不符；

　　新使用者進組當日「錯誤操作-下拉重新整理」的滲透率下降約為 1% 且顯著，符合預期；

　　新使用者進組當日「錯誤操作-點選推薦/首頁」的滲透率提升約為 1.5% 且顯著，與預期不符；

　　隨後，資料分析師對指標表現進行了進一步分析：

　　（1）對「正常操作-上滑」影響：將「上滑操作滲透率」按地區進行多維下鑽後，分析師發現，經濟發達地區使用者的滲透率普遍更低，對「上滑引導」的理解更差。這聽起來很奇怪，經過分析師的推斷，導致這一現象的原因可能有兩點：

　　經濟發達地區使用者網際網路更發達，對觀看新使用者引導的耐心更低，導致對上滑引導的理解更差；

　　經濟發達地區使用者受常用 APP 操作習慣影響大，對新的操作方式不能很快適應，因此滲透率普遍更低；

　　（2）分析「錯誤操作」的影響：

　　經使用者行為分析，「錯誤操作-點選推薦/首頁」顯著提升，原因是使用者未能理解「上滑引導」中所提示的操作，反而去嘗試了點選推薦/首頁 Tab。

　　3. 第一輪A/B實驗結論：本次改動無顯著收益

　　經由上述分析，位元組跳動的實驗團隊得出結論：

　　核心指標沒有顯著收益，關閉實驗，功能下線；

　　直接效果指標負向，此次實驗中上線的功能並沒有達到預期收益，許多新使用者對於這一功能仍舊存在理解障礙，需要探索更好的引導樣式。

　　 02 第二輪A/B實驗：進化和迭代

　　1. 實驗方案設計：全動態引導樣式

　　由於上一次的 A/B 測試結果並不理想，位元組跳動的產品團隊基於上次實驗結論，又進行了詳細的調研分析，再次設計了全新的「上滑引導」樣式。

　　新的「上滑引導」使用了動態引導的方式，並且對文案進行了最佳化。引導方式從第一版實驗中的半動態指示條，改為一段懸浮於螢幕之上的動畫，動畫中直接演示出上滑螢幕這一動作；同時，文案也由前一版的“向上滑動檢視其他影片”更改為“向上滑動以獲取更多影片”。

引導樣式 3（產品介面裡為動態指示）

　　位元組跳動的產品團隊在 DataTester 中配置了新的 A/B 實驗。

　　對照組A：當前線上版本，即實驗背景中所提及的引導樣式1；

　　實驗組B：採用新樣式，即引導樣式3；

　　在指標與預期、流量與實驗週期方面，第二輪與第一輪保持了一致。

　　2. 實驗結果分析：指標正向收益明顯

　　在實驗執行了一段時間後，他們再次來到 DataTester 的資料分析介面，檢視實時的指標表現情況：

　　分析兩組實驗發現，新的方案——實驗組B對比對照組A，在人均使用時長、人均影片播放量上，有了非常顯著的提升！

　　實驗成功指標——新使用者留存提升約 1%-1.8%，且指標結果呈顯著，符合預期；　　

（*虛擬資料）

　　其他核心指標：

　　人均時長、人均影片播放量均有提升，且呈顯著；

　　直接效果指標：

　　新使用者進組當日「正確操作-上滑」的滲透率提升且顯著，幅度約為 1.5%，符合預期；同時實驗證明了：教會新使用者上滑操作對新使用者留存有明確的收益；

　　分地區多維分析：

　　鑑於初次實驗發現發達地區使用者對上滑教育的理解度更差，因此需要進一步分地區分析使用者對於實驗組策略的理解：

　　經濟發達地區：上滑功能滲透率提升且呈顯著，新使用者留存提升且呈顯著，幅度約 2%，比實驗組平均水平提示更為明顯。說明新引導功能的教育作用有明顯的收益；

　　經濟非發達地區：上滑滲透率無顯著提升，新使用者留存無顯著提升。

　　3. 第二輪 A/B 實驗結論：收益顯著 全量上線

　　在第二輪 A/B 測試結束後，新的方案在該 APP 上全量上線了。後續位元組跳動的產品團隊觀察發現，仍有一定比例的新使用者看過影片但沒有進行上滑操作。經進一步的下鑽分析，他們發現經濟發達地區這類使用者佔比更高，後續將對這部分使用者行為進行持續觀察，挖掘是否有進一步教育的空間。

　　上方的案例為大家展示了一個完整 A/B 測試生命週期的全過程，實際上，該實驗也是位元組跳動在眾多的 A/B 測試中比較有代表性的案例。

　　DataTester 產品介紹：

　　案例中使用到的 A/B 實驗平臺 DataTester ，是位元組跳動自研的 A/B 實驗平臺。截至 2022 年 8 月，DataTester 已在位元組跳動內部累計完成 150 萬次 A/B 測試。DataTester 整合了位元組內部豐富的業務場景中的 A/B 測試經驗，並已透過火山引擎，面向外部企業客戶開放服務支援。