廣告流量分析之評價指標的選擇(一)

上一篇文章主要聊了下《轉化率模型之轉化資料延遲》，今天我們將開啟一個新的系列，廣告流量分析之評價指標的選擇。在平時做AB實驗的時候，我們常常遇到一種奇怪的現象“線上效果與線下的分析結論不一致”，為什麼會存在這種現象呢，這裡通過幾個實際案例和大傢俱體聊聊。

 

案例一：轉化率評價（需要明確自己的關注目標）

我們都知道，轉化率（轉化數/點選數）是評價廣告主轉化的一種指標。

在實驗過程中，經常會遇到整體轉化率上漲，而對應每個廣告主的轉化率下降的現象。具體看一個例子：

 

	對照組			實驗組
	點選數	轉化數	轉化率	點選數	轉化數	轉化率
廣告主1	300	30	10%	200	18	9%
廣告主2	300	60	20%	200	36	18%
廣告主3	300	90	30%	500	135	27%
總計	900	180	20%	900	189	21%

 

這裡的三個廣告實驗組轉化率都比對照組轉化率低，但是，根據簡單的加和方法算出來的CVR卻是實驗組高於對照組。不同角色對於這個問題會有不同的看法，作為廣告演算法工程師，從整體看轉化率上漲，實驗組效果ok，抓緊上這個新策略；作為單個的廣告主，轉化率下降，這個策略趕緊下掉。所以究竟這個策略是去還是留呢？

 

這就是著名的辛普森悖論，它是英國統計學家辛普森與1951年提出的悖論，即在某個條件下的兩組資料，分別討論時都會滿足某種性質，可是一旦合併考慮，卻可能導致相反的結論。為了避免辛普森悖論，MH方法被引入進來，用來計算轉化指標。其中MH-CVR的計算方法如下。

 

假設有n個廣告，對照組點選數為click_c1，click_c2，click_c3，…… ，click_cn，轉化數為conversion_c1，conversion_c2，conversion_c3，…… ，conversion_cn，實驗組點選數為click_e1，click_e2，click_e3，…… ，click_en，轉化數為conversion_e1，conversion_e2，conversion_e3，…… ，conversion_en

 

 

從公式中我們也可以看出MH指標結果是一個比值，小於1.0表示負向，大於1.0表示正向。根據這個公式，可以計算出上面這個例子的MH-CVR值為0.9<1.0，表明轉化率是負向的。

 

因此對於流量的整體轉化率，要選擇MH方法計算，而不是直接sum(轉化數)/sum(點選數)來計算。

 

看到這裡，大家一定會有一個疑問，為什麼MH轉化指標比整體加和指標更合理？上面簡單的提到，引入MH轉化指標是為了避免辛普森悖論。但是，進一步問題是，為什麼辛普森悖論在這裡是需要避免的? 具體到上面的例子，為什麼按照簡單加和計算出CVR增加的結果是不合理的，而按照MH方法計算出的MH CVR減少的結果是合理的？

 

而要理解這裡的問題，就需要先理解轉化目標的目的和特點。

 

轉化指標的主要目的是評價廣告主的效果在實驗裡是變好還是變壞了，這是面向廣告主的指標。有這個目的就決定了評價指標應該與大部分廣告主或者廣告的變化趨勢一致，在變化幅度相當的情況下，如果大部分廣告主或者廣告效果變差，小部分廣告主或者廣告效果變好，則指標應該負向，反之，指標應該正向。根據這個原則，可以看出原有簡單加和轉化指標可能出現趨勢與大部分廣告主效果不一致的情況，是不合理的。

 

而轉化指標的特點是，不同廣告主轉化價值的差異很大，有的廣告主把下載啟用應用，註冊帳號定義為轉化，有的廣告主把購買商品定義為轉化，而商品價格還可以千差萬別，這樣，一個轉化對於廣告主的價值可以有非常大的差異。而簡單加和計算方式把各種轉化同等對待，都簡單加到分子裡，是不合理的。

 

廣告流量分析之評價指標（一）的轉化率指標就講到這裡了，下一篇我們們主要講講ctr以及oCPA指標。

歡迎大家關注計算廣告那些事兒哈，除了原創文章之外，也會不定期和大家分享業內大牛的文章哈！