如何評估某活動帶來的大盤增量｜得物技術

　　 1 引言

　　雙11期間上線某功能/活動，使用者開通後參與能給大盤帶來交易增量嗎？

　　業務第一反應大機率是說“會！”。那麼，某活動/功能上線與大盤交易提升之間確實存在因果關係嗎？如果真實存在，具體增量是多少？

　　 2 分析過程

　　為了判斷之間的具體聯絡，可以從5個步驟、2種常見判斷方法進行分析。

　　2.1 明確原因是什麼

　　從前文可知，雙11期間業務上線了某活動/功能。

　　2.2 明確結果是什麼

　　給大盤帶來了更多交易使用者/訂單/gmv。

　　2.3 確認3個要點

　　是否純屬巧合？不好評價，從趨勢上來看，該活動上線之後大盤支付人數確實同期在提高；但正值大促，即使不做活動大盤交易大機率也會增長。　　

　　是否存在同時影響原因和結果的第三變數？一個參與了活動的使用者，比起沒有參加活動的使用者，本身活躍度或成熟度更高，而平臺活躍和交易成熟對是否產生購買是很關鍵的因素。所以，存在第三變數。

　　是否存在逆向因果關係？到底是活動刺激使更多使用者下單？還是高機率下單的使用者更有意願參與這項活動？

　　2.4 製造反事實

　　如果雙11期間沒有上線這個活動，大盤交易量會不會減少？

　　2.5 調整到可比較狀態

　　很明顯，如果將大促期間參與了活動和不參與活動的人分成兩組，因為參與活動的使用者更活躍更成熟，而不參與活動的使用者質量相對較差，這種明顯選擇性偏差的存在，導致直接對比是不公平的，不存在可比性。必須把兩組資料調整到可以比較的狀態，分組使用者上要真正體現出“隨機”性。常見的有2種判斷方法，包括隨機對照試驗、雙重查分法。可根據實際背景條件選擇使用。

　　隨機對照試驗，即通常所說的AB測試。假設大促期間採用了ab實驗，活動上線時將大盤所有使用者隨機分成的兩組，一組能夠參加活動（干預組），另一組不能參加活動（對照組），然後透過觀察兩組使用者在大促期間的交易表現，對比得出最後的結論。

　　雙重差分法，適用於沒有做實際隨機對照的場景，例如大促期間全量上線了該活動。第三部分會重點介紹該方法的使用。

　　 3 雙重差分法

　　3.1 基本思想

　　在沒有隨機實驗的情況下去模擬一種隨機分配實驗。鎖定目標使用者，模擬實驗分組，然後跟蹤不同使用者組在受活動干預前後的大盤交易表現。

　　前提假設

　　始終不開通參與的使用者 VS 有開通/參與的使用者的場域效應相同，即目標指標的趨勢平行；

　　受到干預期間，沒有出現影響目標值的“其他變化”。

　　圖示　　

　　3.2 計算邏輯　

　　3.3 具體步驟

　　3.3.1 分組

　　將全部的樣本資料分為兩大組，分組邏輯是根據是否受到營銷活動干預。

　　實驗組：受到營銷活動的干預影響，根據影響程度又可以分為「平銷已開通」影響復購動支，「平銷未開通->大促新開通」 影響開通和動支。

　　對照組：沒有受到同一活動的干預影響，表現為使用者「始終未開通」。

　　3.3.2 目標選定

　　確定觀測的目標指標，大盤動支率、戶均大盤gmv。

　　3.3.3 驗證分組合理性

　　隨機圈選平銷期（10.10為例）使用者，觀察不同分組在10.10-11.11期間的戶均gmv變化趨勢是否一致。

　　10.10日新開通使用者、10.11-11.10期間中途新開通使用者在臨近10.10日階段與波動較大，與其他分組差異較大，不作為後續分析可用分組。

　　始終未開通、始終開通、雙11當天新開通三個分組的使用者，在10.10-11.10期間變化趨勢一致、差異基本保持穩定。可作為後續分析可用分組。　　

　　3.3.4 差分

　　驗證完滿足假設前提後進行兩次差分，第一次差分得出干預前後總差異，第二次差分得到干預淨效應。

　　第1次差分：分別對在干預前後進行兩次差分（相減）得到兩組差值，代表實驗組與對照組在干預前後分別的相對關係；

　　第2次差分：對兩組差值進行第二次差分，從而消除實驗組與對照組原生的差異，最終得到干預帶來的淨效應。

　　3.3.5 方法小結

　　優點：較為客觀的去除場域影響，剝離出由營銷活動干預下帶來的大盤增量。能基本解決“大促期做的營銷活動對於大盤的影響”。

　　不足：

　　（1）大盤收益，同一時間段多個活動共同干預時，無法剝離單個活動效益大小。如，11.11當天，針對新客既做了活動1，又做了活動2，則無法分別評估活動1、活動2的效果。

　　（2）無法涵蓋“所有”增量。如平銷期與大促期之間新增使用者、中途開通的使用者表現。