從思路到工具 - 增長實驗資料歸因分析

接上篇：從設計到歸因 - AB Test 實戰心得



== 前言

大家好，第二篇資料驅動增長的乾貨來了。上次我們跟家分享了【硬核】從設計到歸因 - AB Test 實戰心得，但都會偏理論層面，這次我們直接通過分析思路和工具層面，來詳解我們對實驗資料的分析和評估過程，以及如何做分析和歸因，讓我們的結論有理有據。

本次分享的主要目的是希望幫助更多的人掌握分析思路，這樣在當我們開展任何增長實驗的時候，在面對自己的分析或別人的分析結果時，能夠有效的解讀和利用實驗結果，達到實驗的目的。

== 適合閱讀人群

正在做增長的產品、運營、資料人員及其他對資料有分析和觀察需求的朋友

== 1. 關於AB Test 的結果歸因

上一篇關於AB Test 的分享我們提到了，當我們的實驗獲得了一次顯著的結果，可以說明實驗有效了，但這樣就結束了嗎？直接告訴團隊的其他人實驗成功了，OK嗎？

顯然不是，現實中我們會更在意實驗為什麼成功了？具體表現是什麼？而一個沒有被歸因的結果，不太可能給我們帶來可以被沉澱和複製經驗。

筆者想重點說明的一點是，掌握對實驗資料歸因分析的思路，這樣才找到實驗方案背後可能的真相，也才真正有利於我們決策，而不只是停留在一個結果資料上。

當我們自己給出一份分析或獲得一份分析報告時，我們都應該多思考一下，這個資料或結論是否找到實驗結果背後可能的原因？沒有的話，其實並不嚴謹和完善。

當我們沒有歸因實驗結果，那等同於我們沒有真正獲得成功的經驗，反之，我們也沒有獲得失敗的經驗，而這些經驗正是增長的關鍵所在，也意味著我們每次實驗不是盲目投入。

例如：

你修改了某個文案用於實驗，實驗結果顯著了，你說是改變文案的功勞，然後到此實驗就結束了？那麼，你的下一步建議呢？如何進一步提升？使用者為什麼看了這個文案就更容易轉化了呢？再換個文案是不是更有效？文案是否有規律可循？

通過這個例子，我們可以看到，我們不能一直盯著文案改變後的結果，更要研究文案改變後使用者的行為模式變化，以及使用者是如何達成最終目標的；文案對比是感性的，很難直接衡量差異，而對資料的影響和變化，是可衡量的對比，有跡可循，提供依據。

解讀使用者因某個變數產生了什麼變化，從而導致結果發生了改變，這個才是歸因要做的事，也是老闆們關心的，這樣才能夠讓我們真正習得經驗，給下次調整提供方向。

== 2. 實驗的本質是要不斷習得經驗

筆者認為，實驗的本質是要不斷習得經驗，即使這個實驗沒有出現勝出組，我們也可以不斷通過歸因習得經驗，總結到成功或未成功的經驗，而不是面對成功或未成功的方案，兩眼發愁，得過且過，要珍惜每次實驗的團隊學習機會。

大家可以思考一下，我們的團隊平時的AB分析是怎麼做的？是否有類似的情況？

• 告訴你有效果，然後上線，問不出個具體的所以然來？
• 或者告訴你實驗沒有效果，然後就僅僅總結沒效果，方案不行，也說不出個所以然來？
  

其實，當方案一旦調整，我們理論可以從使用者行為上的差異發現區別，例如觸達後開始的一段週期內，使用者行為如何改變？

舉例，假如我們的方案是新頁面曝光與不曝光，這類的行為比對，則可以擴散到使用者觸發時機之後做對比，因為使用者觸達後的行為變化可能與遇見該頁面有關，沒有遇見的使用者的行為模式對比，能夠找到更加有意思的資料變化。

比如觸達後，是使用者的活躍率高了，活躍時長更長，還是時長變短，還是操作更加頻繁等等，深度歸因和對比，是否使用者作出的行為改變是因為你的方案，這樣我們就能夠詳細歸因。

資料比對就是要事無鉅細，真正走進使用者的操作過程中，記住，這個要依賴與你採集到了足夠的資料，當你沒有足夠的資料分析和採集經驗，那麼我建議你，能點選的地方儘可能採集，能瀏覽的地方採集停留時常，多入口的頁面採集來源，這樣你的資料就會比較完整，在很多分析模型中也能發揮作用。

注：資料採集是個大話題，今後有機會再來分享。

== 3. 如何歸因

我們知道要歸因，那我們要怎樣做，下面我們藉助前面一個分享過的案例來看一下分析的過程。

【案例】

假設：上線7天免費試用，能夠對收入有提升10%，提高使用者付費轉化率提高10%

核心評估指標：

使用者付費轉化率（7天內，0金額不計算）

ARPU（7天內）

實驗分組：

A 控制組，預設不曝光免費試用商品（原價商品）

B 實驗組，曝光7天免費試用，顯示免費試用字樣

參考下面資料例子：


通過上面的例子，我們可以看到實驗的轉化結果，這樣的統計方式彙總程度較高，可以統計到顯著結果，該指標其實是忽略了中間的轉化過程；當然，我們正常不會評估一個指標，但這裡只做案例假設。

這裡的目標轉化量 = 使用者實際付費的使用者量（扣除退款）

要對上述結果做歸因，我們需要了解可以拿到什麼資料用於做歸因分析，以下的分析思路可以供大家參考

3.1 獲取方案觸達到轉化的過程指標

觸達到轉化的中間過程，筆者喜歡稱之為一個“過程黑箱”，當我們不去拆解，對我們來說就是個黑盒子，因為你如果不去仔細拆解，根本無法想象裡面有多少我們可以使用的資料，這個是我們可以歸因分析的一個方向，值得大家去嘗試分析。


我把這類歸因分析的過程，稱之為拆解過程黑箱內的資料指標，通過對比不同方案的資料差異，來分析資料的變化，做結果歸因。

過程比較簡單，只需要梳理該過程黑箱內可能影響轉化的指標，如果不清楚有哪些資料可用，可以藉助工具檢視兩個步驟之間的行為序列，找到你可以用的資料即可。

在這個例子中，我們的B組使用者，經歷了觸達到轉化（最終付費，不含退款）的過程，中間可能涉及到的指標或行為有哪些？

例如：

l 選取免費試用商品

l 選取非免費試用商品

l 頁面停留時長

l 參與免費試用活動

l 參與免費試用活動-轉化時長

l 自願取消訂閱免費試用

l 自願取消訂閱免費試用 - 取消時長

l 非自願取消免費試用

l 免費試用到期轉付費（7天）

l 免費試用到期轉付費升級/降級

l 免費試用到期轉付費後退款

l 免費試用到期轉付費後取消訂閱

l 其他行為...

A 組的使用者大家可以按照這個思路拆解，當方案存在較大差異是，各組中間的指標是會存在較大差異的，可以尋找一些可以直接對比的資料，當然，指標本身的差異就是一個可以分析的方向。

當我們拆解完之後，已經可以比較清晰的知道使用者在整個過程黑箱所經歷的事情，當我們能夠拆解出這一步，這個已經說明我們對業務瞭解足夠的深入。

這裡筆者為什麼要強調對業務足夠了解了，這是因為要做到深入的分析，真的需要具備足夠的業務知識，否則你怎麼能想到到期轉付費前還能升級或降級呢？或者知道還有非自願取消的比例？所以對於業務知識的瞭解是運營和產品人員的優勢，可以盡情發揮在分析上面，這也是為什麼業務分析很注重分析人員熟悉業務知識的原因。

那麼拆解後，我們能得到什麼資訊？（注意，案例只是根據分析的內容提供了一個思路，要學會舉一反三，不同的分析場景，過程黑箱裡的可用資料不一樣）

我們能夠聚焦到使用者觸達方案後，實際的行為變化，例如直接選取了免費試用商品的比例變得非常高，這個能夠直接通過行為得到結果，而且很少會有歧義；又或者，我們知道使用者在付費前，取消的週期非常短，主要集中在頭幾天，且取消率非常高。（這裡面就涉及到前面提到的從歸因到經驗習得）

假如我們通過對比發現，不同地區的取消率差異非常大，一些地區因為取消率高直接就導致實驗失敗了，這個就是一個歸因，且當我們通過分析知道有這層資料存在，那麼我們就更容易找到那些表現不明顯的地區，即使一些地區樣本量少，我們也能夠大概率通過該因素來衡量實驗效果，因為該指標和結果存在著較強的相關性。（區分維度也很重要）

分析過程中，多提出疑問和假設去分析，往往會有更加深入的發現

例如：

什麼使用者排斥免費使用？是轉頭就關閉，還是徘徊後走掉？直接流失比例多少？

3.2 其他可歸因的資料

那麼，除了過程黑箱，我們還能找到其他資料來觀察變化，儘可能歸因嗎？這是當然的。

筆者最喜歡看的還有一個流失資料，這是最能體現負面影響的資料指標，就是當方案觸達後，使用者不是直接轉化，而是直接流失了，這個是個很有意思的分析方向，可以分析使用者在該頁面是如何流失的，流失前的相關行為變化，也建議大家多嘗試一下，往往轉化率不行也意味著流失，那麼使用者如何流失就很可能給我們提供重要資訊。（在session分析的概念裡，也稱為會話中某一個行為的退出率）

此外，我們還能觀察轉化後的留存情況，訂閱保留等資料，這些資料給我們提供了很有價值的長期估算指標。


繼續拿B組使用者為例，我們此時針對該案例還能拆解出什麼相關指標？用於分析資料變化。

例如：

l 免費試用到期轉付費後取消訂閱

l 保留有效訂閱數

l 直接離開App流失率

l 使用者長期留存率

l 其他指標…

注：還是提醒一下，任何用於當前分析的資料都要基於實際業務，切不可完全照搬，有可能不適用於你的業務。

上述例子我們提取了取消訂閱了等資料，通過免費試用到期轉付費後取消訂閱率，估算續費率，再核算到使用者收益中，這樣能夠估算出使用者長期的LTV值，如1個月/1年，當這個估算值高於對照組，且轉化率、保留率顯著提升的前提下，能夠進一步說明實驗上線後的長期收益，這個要比我們給一個“結果是否有效”有力得多，給出合理的預測，能夠讓團隊更加清晰方案上線後的價值和預期增長。

筆者以前會習慣性的認為歸因是在使用者轉化前的行為資料，但後來仔細想想，不見得轉化後的資料不能成為歸因分析，理由是使用者正是因為方案B轉化，且因為方案B的免費試用，體現出最終的付費後一段時間內保留的有效訂閱高於方案A，因此可以反過來驗證或論證實驗結果。

3.3 歸因分析過程要不斷的假設

根據筆者的經驗，我們要充分挖掘一份實驗資料的資訊，就要不斷的重複做假設，重複分析和驗證，無論是面對自己的分析結果還是他人的分析報告，不要停下質疑的聲音。

當我們開始假設，就可以通過資料去驗證，當前資料無法驗證的，則可以再設計實驗去驗證，這個就是優化方案或想法的來源。

例如前面我們的一些分析可以嘗試做如下假設：

l 假設不是所有的地區取消率都很高（這個時候就去拆分地區資料驗證就行了）

l 假設使用者流失是因為頁面提示文案不友好，調整文案後會減少使用者的排斥心理，減少流失（可能需要實驗去驗證）

l 其他假設...

筆者總是按照先假設，再分析，再驗證的方式在做每個資料分析工作

假設是否正確與個人對業務和對資料的熟悉程度有關，這裡也體現了個人的預測能力，經常基於資料做出假設可以有效提高自己的分析水平（親身經歷，分享給大家）


== 4. 利用工具歸因

在工具方面越來越多的公司會接入第三方資料平臺或工具，這裡筆者藉助合作多年的神策資料工具作為例子來分享。

分析工具方面推薦使用漏斗模型、歸因模型、使用者路徑模型 以及 session 分析模型，這些都是可以用來分析行為前後的轉化率、流量分佈、行為貢獻值等資料，適合歸因；涉及到指標的獲取，直接用事件分析即可。

4.1 漏斗分析模型

相信是大家常用的一個工具，用於關鍵步驟，轉化率和轉化時間的分析，一般可以看到轉化前的步驟轉化率變化，而轉化時間也是一個很重要的指標，可以用於觀察和總結使用者行為模式差異。

4.2 歸因分析模型

前面我們有一直在前調，對於轉化前的黑盒，這個時候我們可以思考使用者很多可能的行為，然後去做歸因分析，計算每個行為的貢獻度，對比不同方案的變化，那麼我們就能夠找到不同方案轉化前的差異了。

通過歸因分析每個因素（待歸因事件）的差異，再去分析為什麼是方案B比方案A要更優。

舉例，方案對比如下：

假設觸點A為轉化前的核心行為事件，而兩個方案的歸因分析對轉化的貢獻度就出現了明顯的差異，這個時候是可以總結方案改變了使用者觸點A的行為，觸點A一般為我們根據業務選擇的待歸因事件，因此這個行為具備實際的業務含義。

當我們總結觸點A的改變，那麼是否又有其他因素在改變的觸點A呢？那麼觸點A的轉化因素也可以繼續歸因，以此類推。

實驗組B


實驗組A


4.3 使用者路徑模型

如果涉及到多層級或多步驟操作的因素，筆者也推薦類似使用者路徑的分析模型，可以分析出轉化前，所有流量的來源分佈資料，以及觸點A發生前的流量分佈，對比兩個組的資料，也可以清晰分析兩組之間的差異。

例如我們拆解出使用者轉化前的行為資料，然後通過路徑做相關的路徑分析，如觸點A，B，C的資料變化。

通過設定關鍵轉化目標為結束事件，再篩選不同組的使用者做對比分析，既可以得到不同組之間的路徑分佈差異。


== 補充

神策相對於其他資料平臺或工具，其本質上都是一樣的，我們要學會舉一反三，我們只有瞭解了分析工具背後的邏輯，才能夠通過工具正確解讀資料，也只有正確解讀了資料，我們才掌握利用資料描述事實的能力。

大多數團隊甚至沒有資料人員，因此筆者非常的建議產品和運營人員掌握一些常用的資料分析工具，用於日常的實驗分析工作；對於實驗的分析，不用太多coding和建模的知識，只需要掌握業務分析常見相關邏輯和分析思路，利用好一些成熟的資料平臺或工具即可，並提高自己的分析能力，也希望這篇文章對大家有所幫助。

文章不足的地方在於只能就案例來對實驗資料分析做相關經驗分享，但這並不是全部，涉及到一些複雜的分析也很難一一分享，如果分析上遇到問題，歡迎大家隨時與我交流探討，也歡迎大家指正文中有描述錯誤的地方。

關於文中一些工具的計算方式和運算邏輯，相關概念網上有較多的資料，這裡就不再囉嗦介紹了，大家在網上能夠搜尋到。

筆者在資料平臺或分析工具的資料建設和使用有較豐富的經驗，同時也歡迎對這塊感興趣的朋友與我一起交流學習。

作者：大Fei
來源：九日論道