如何評估某活動帶來的大盤增量 | 得物技術

得物技術發表於2023-03-18

1引言

雙11期間上線某功能/活動,使用者開通後參與能給大盤帶來交易增量嗎?
業務第一反應大機率是說“會!”。那麼,某活動/功能上線與大盤交易提升之間確實存在因果關係嗎?如果真實存在,具體增量是多少?

2分析過程

為了判斷之間的具體聯絡,可以從5個步驟、2種常見判斷方法進行分析。

2.1 明確原因是什麼

從前文可知,雙11期間業務上線了某活動/功能。

2.2 明確結果是什麼

給大盤帶來了更多交易使用者/訂單/gmv。

2.3 確認3個要點

是否純屬巧合?不好評價,從趨勢上來看,該活動上線之後大盤支付人數確實同期在提高;但正值大促,即使不做活動大盤交易大機率也會增長。

640.png

  • 是否存在同時影響原因和結果的第三變數? 一個參與了活動的使用者,比起沒有參加活動的使用者,本身活躍度或成熟度更高,而平臺活躍和交易成熟對是否產生購買是很關鍵的因素。所以,存在第三變數。
  • 是否存在逆向因果關係? 到底是活動刺激使更多使用者下單?還是高機率下單的使用者更有意願參與這項活動?

2.4 製造反事實

如果雙11期間沒有上線這個活動,大盤交易量會不會減少?

2.5 調整到可比較狀態

很明顯,如果將大促期間參與了活動和不參與活動的人分成兩組,因為參與活動的使用者更活躍更成熟,而不參與活動的使用者質量相對較差,這種明顯選擇性偏差的存在,導致直接對比是不公平的,不存在可比性。必須把兩組資料調整到可以比較的狀態,分組使用者上要真正體現出“隨機”性。常見的有2種判斷方法,包括隨機對照試驗、雙重查分法。可根據實際背景條件選擇使用。

  • 隨機對照試驗,即通常所說的AB測試。假設大促期間採用了ab實驗,活動上線時將大盤所有使用者隨機分成的兩組,一組能夠參加活動(干預組),另一組不能參加活動(對照組),然後透過觀察兩組使用者在大促期間的交易表現,對比得出最後的結論。
  • 雙重差分法,適用於沒有做實際隨機對照的場景,例如大促期間全量上線了該活動。第三部分會重點介紹該方法的使用。

    3雙重差分法

3.1 基本思想

在沒有隨機實驗的情況下去模擬一種隨機分配實驗。鎖定目標使用者,模擬實驗分組,然後跟蹤不同使用者組在受活動干預前後的大盤交易表現。

前提假設

  • 始終不開通參與的使用者 VS 有開通/參與的使用者的場域效應相同,即目標指標的趨勢平行;
  • 受到干預期間,沒有出現影響目標值的“其他變化”。

圖示
640.jpg

3.2 計算邏輯

image.png

3.3 具體步驟

3.3.1 分組

將全部的樣本資料分為兩大組,分組邏輯是根據是否受到營銷活動干預。
實驗組:受到營銷活動的干預影響,根據影響程度又可以分為「平銷已開通」影響復購動支,「平銷未開通->大促新開通」 影響開通和動支。
對照組:沒有受到同一活動的干預影響,表現為使用者「始終未開通」。

3.3.2 目標選定

確定觀測的目標指標,大盤動支率、戶均大盤gmv。

3.3.3 驗證分組合理性

隨機圈選平銷期(10.10為例)使用者,觀察不同分組在10.10-11.11期間的戶均gmv變化趨勢是否一致。

  • 10.10日新開通使用者、10.11-11.10期間中途新開通使用者在臨近10.10日階段與波動較大,與其他分組差異較大,不作為後續分析可用分組。
  • 始終未開通、始終開通、雙11當天新開通三個分組的使用者,在10.10-11.10期間變化趨勢一致、差異基本保持穩定。可作為後續分析可用分組。

6401.png

3.3.4 差分

驗證完滿足假設前提後進行兩次差分,第一次差分得出干預前後總差異,第二次差分得到干預淨效應。

  • 第1次差分: 分別對在干預前後進行兩次差分(相減)得到兩組差值,代表實驗組與對照組在干預前後分別的相對關係;
  • 第2次差分: 對兩組差值進行第二次差分,從而消除實驗組與對照組原生的差異,最終得到干預帶來的淨效應。

    3.3.5 方法小結

    優點: 較為客觀的去除場域影響,剝離出由營銷活動干預下帶來的大盤增量。能基本解決“大促期做的營銷活動對於大盤的影響”。

不足:
(1)大盤收益,同一時間段多個活動共同干預時,無法剝離單個活動效益大小。如,11.11當天,針對新客既做了活動1,又做了活動2,則無法分別評估活動1、活動2的效果。

(2)無法涵蓋“所有”增量。如平銷期與大促期之間新增使用者、中途開通的使用者表現。

相關文章