使用者資料中的倖存者偏差

Aceyclee發表於2018-04-19

倖存者偏差(Survivorship bias)是一種常見的邏輯謬誤,意思是沒有考慮到篩選的過程,忽略了被篩選掉的關鍵資訊,只看到經過篩選後而產生的結果。

先講個故事。

二戰時,無奈德國空防強大,盟軍戰機損毀嚴重。於是軍方便找來科學家統計飛機受損情況,以便進行改進。

軍方一開始是要求在彈孔密集處加強裝甲,想想沒毛病啊,中彈多的地方理應加強防護。

可是這時候一個統計學家站出來 —— 實名反對以上答案!

使用者資料中的倖存者偏差

應該在中彈少的部位加裝裝甲!

  • 因為沒被擊中要害部位的飛機才能返航,進入統計樣本
  • 中彈多的部位依然返航了,說明這些地方並不是致命傷
  • 而彈孔少的部位中彈的飛機,都因為被擊落而飛不回來

故事有美化,但論文還是真實存在的:

A Method of Estimating Plane Vulnerability Based on Damage of Survivors

一種根據倖存飛機損傷情況推測飛機要害部位的方法。

這位統計學家叫 Abraham Wald。


倖存者偏差的本質就是選擇偏倚。

類比到網際網路行業中,目標市場的每一個潛在使用者都是一架飛機。

然後,每一個節點,包括但不僅限於一條糟糕的廣告、一次不暢的溝通、一場流於形式的會議,都會是一枚枚子彈。

而穿越了層層阻礙成功註冊使用你的產品的使用者,就是安全飛回來的飛機。

那麼,你收集到的反饋來自哪裡?

答案已經不言自明。

你最容易得到反饋的人,恰恰是經常使用產品的人。

你最能知曉的產品問題,都是那些打在非致命傷上的彈孔而已。

當然,對於一個成熟的產品,使用者量足夠(飛回來的飛機夠多)可以不用過於擔心流失的使用者,直接定義為非使用者群即可。

但是對於一個新生的產品,這就是個大問題了。我應該在哪裡加強我的裝甲,我如何把有限的資源進行更優配置?

倖存者偏差直接影響的就是新產品的功能迭代。

功能迭代一般都從最容易收集到反饋的使用者那裡獲得。

通過詢問 the current top users 最希望在產品中看到哪些改進,從而構建新功能。

但是,這可能完全忽略了目標市場中那部分沒有給你任何資料的人對你的產品不感興趣的原因。

就像被擊落的飛機無法告訴你它是怎麼死的。

a potential user → the top user

如何應對?

  • 計算出目標市場中哪些部分沒有反饋。比如說通過檢視當前使用者在目標市場所處的位置,以及我們如何獲得這部分使用者來反向推導
  • 想辦法收集並聯系我們曾經觸及過但並未成功轉換的使用者(比如說訪問過網站但並沒有試用產品的人群)
  • 針對上圖中的每個步驟制定相應措施,根據這些對產品不感興趣的人群重新制定營銷策略或者產品改進

讓每一架飛機都儘可能飛回來。


Reference:

More:

我的知乎:@Aceyclee | 我的微博:@Aceyclee

相關文章