在日常的產品和運營設計中，經常會有很多直覺性的想法，通過一些經驗分析或者競品參考等猜想是不是某一種設計樣式會更好或者某一種設計策略會更成功。
然而，直覺的判斷通常都偏感性，跟思考者的工作經驗和審美觀更相關，我們覺得使用者想要的東西是否真的是使用者想要的呢？
如果說設想的提出階段屬於事物的認知層面，那麼設想的驗證階段則屬於邏輯推理層面。
如何有效的對設想進行驗證？
在告別了人口紅利期後，現階段網際網路產品更多是在考慮使用者已固定的使用習慣的基礎上，通過科學嚴謹的方式完善設計體驗，這個階段資料驗證十分重要。
而A/Btest就是一種可以快速對比驗證資料的有效手段。
什麼是A/Btest？
方法概述
簡單來說，A/Btest在產品優化中的應用方法是：在產品正式迭代發版之前，為同一個目標制定兩個（或以上）方案，將使用者流量對應分成幾組，在保證每組使用者特徵相同的前提下，讓使用者分別看到不同的方案設計，根據幾組使用者的真實資料反饋，科學的幫助產品進行決策。
適用場景
廣告下載頁（可通過測試提升下載的轉化率）
運營活動H5（可通過測試提升下載或頁面分享的轉化率）
APP使用者體驗（可通過測試進行產品可用性驗證及功能點選率的轉化提升）
等等一切希望通過資料驗證不同假設方案的可行性的頁面
可測試內容
視覺設計樣式（例：按鈕顏色、插畫內容）
產品文案內容（例：立即下載/立即使用）
頁面佈局（例：列表佈局/卡片佈局/瀑布流佈局）
互動體驗（例：長按刪除/右滑刪除）
產品功能
推薦演算法（例：在使用者已連WiFi情況下推薦網路加速/在使用者已連WiFi情況下推薦新聞資訊）
等等一切可以拆分不同方案進行對比的內容
但在實際操作中遠沒有這麼簡單，如何尋找A/Btest的測試點？如何制定有效的A/Btest計劃？如何判斷設計方案是否與目標資料相關聯？這些都是接下來會一一為大家解析的。
如何進行A/Btest？
第一步：明確測試目標（目標要明確可以直觀量化，顆粒度要儘量細）
測試目標大致可以分為兩大類，他們的來源也各不相同。
簡單目標：例如廣告頁面的點曝比、新上線功能的UV，這類目標通常來源於產品需求，或功能上線後的資料反饋，是比較直觀的有明確修改點的。
複雜目標：它可以是來源於專案的KPI，例如新手期的啟用、成熟期的商業化、流失期的使用者迴流率等等。但具體ABtest的點必須是要細化到可以直觀量化的，比如新手期的啟用引導的點選率，成熟期的商業化廣告點曝比，流失期的使用者召回push的點選進入率等等。這裡以WiFi管家的使用者留存為例，解釋下如何尋找複雜目標是如何被量化拆分更精細的顆粒度的。
第二步：找到關鍵提升點（拆分流程中可提升的指標）
折損點可以通過後臺漏斗資料分析等發現，對使用者使用時的流程步驟進行拆分，看看流程中有哪些關鍵的轉化節點是有提升可能性的，或者哪些點是可以和測試目標直接相關聯的。
如在提升廣告頁面點曝比的時候我們可以分析當前廣告頁的各種元素，以及他們可能會和點曝比的相關性，例如：廣告主打的宣傳文案和廣告整體的畫面設計感。
而在提升使用者留存的案例裡面我們發現有超過半數的使用者無任何操作離開，繼續深挖各漏斗節點發現所有新使用者中有很多的新使用者都是沒有開啟許可權並且無法對頁面進行任何操作的
第三步：設計實驗樣本（排除無關因素和實驗樣本間的明顯差異）
設計實驗條件的時候要充分分析問題的影響因素，排除一些和結果沒有明顯關聯的因素，設計實驗樣本時需要結合經驗避免一些很明顯的差異。
交叉型樣本：
找到可能對現有版本的實驗目標相關的影響因素並一一列出，通過交叉的方式進行重新組合產生實驗樣本，此時A/Btest的實驗樣本為舊方案+A方案+B方案
定量型樣本：
固定元素不變的情況下調整其他可能的影響因素，檢視實驗結果，此時A/Btest的實驗樣本為舊方案+A1方案+A2方案
以WiFi管家為例，我們在觸發條件相同的情況下對於資訊Push（同類別同文案），設計不同的觸發器：圖片or按鈕，測試圖片和按鈕對於使用者的點選慾望是否會有影響。
改善型樣本：
我們可以通過走查線上版本定位體驗問題，提出改進假設進行優化設計，此時A/Btest的實驗樣本為舊方案+新方案（新方案確定好大方向後又可以繼續進行單點的優化測試）
以WiFi管家為例，我們的目標是提升使用者的頁面操作率從而達到提升留存的作用，設計對應資料折損點找到關鍵介面，結合使用者畫像和產品操作功能排名制定設計策略
1.【新使用者】功能啟用的引導
2.【無許可權使用者】進行開啟許可權的引導
3.【無WiFi使用者】進行其他功能挽回
第四步：上線測試（儘可能的降低所有實驗樣本的測試環境差別）
精準的A/Btest流程和注意事項：
不同版本方案並行（同時）上線試驗，儘可能的降低所有版本的測試環境差別
科學的進行流量分配，保證每個實驗樣本的使用者特徵相類似
讓使用者展現對不同版本的真實使用體驗，產品則應實時關注各版本的資料表現，並根據資料反饋及時調整試驗流量
在分析實驗整體資料的同時，需要從多個維度細分考量試驗資料結果，除了當前A/Btest的測試點埋點以外還需要注意其他可能被影響的環節
非精準A/Btest流程和注意事項：
因為並不是每個專案都可以進行A/Btest，有些是因為專案並沒有支援A/Btest的能力，有些是因為想要釋出的平臺並不支援嚴格意義的A/Btest（比如電子市場），但又想看看不同設計樣式對於資料的影響那麼就儘量遵循以下原則進行測試
儘量保證試驗版本的使用者特徵相類似，如渠道來源相同
儘量避開節假日等會對資料波動造成短期較大影響的時間段
不同實驗樣本保證同樣的實驗時常，儘量取上線後資料較為穩定時段的平均值
第五步：回收資料並記錄（得出最優方案後全量下發）
最後建議設計師自己整理自己的資料記錄表格，記錄下自己的設計策略和方法，培養解決問題的思維方式以及做好資料閉環的良好習慣。
關注【IVWEB社群】公眾號獲取每週最新文章，通往人生之巔！