AB test | 資料分析師面試必知 ！

2、A/B test工作原理

在A / B test中，你可以設定訪問網頁或應用程式螢幕並對其進行修改以建立同一頁面的第二個版本。這個更改可以像單個標題或按鈕一樣簡單，也可以是完整的頁面重新設計。然後，一半的流量顯示頁面的原始版本（稱為控制元件），另一半顯示頁面的修改版本（稱為變體）。

當使用者訪問頁面時，如上圖灰色按鈕（控制元件）和箭頭所指紅色按鈕（變體），利用埋點可以對使用者點選行為資料採集，並透過統計引擎進行分析（進行A/B  test）。然後，就可以確定這種更改（變體）對於給定的指標（這裡是使用者點選率CTR）產生正向影響，負向影響或無影響。

實驗資料結果可能如下：

3、進行A/B test的目的是什麼

A / B test可以讓個人，團隊和公司透過使用者行為結果資料不斷對其使用者體驗進行仔細更改。這允許他們構建假設，並更好地瞭解為什麼修改的某些元素會影響使用者行為。這些假設可能被證明是錯誤的，也就是說他們對特定目標的最佳體驗的個人或團隊想法利用A / B test證明對使用者來說是行不通的，當然也可能證明是正確的。

一次測試一個變化有助於他們確定哪些變化對訪問者的行為產生何種影響，哪些變化沒有影響訪問者的行為。隨著時間的推移，他們可以結合實驗中多次正向變化的效果來展示變體相對於控制元件的可測量的改進。

這樣來說產品開發人員和設計人員可以使用A / B測試來演示新功能對使用者體驗變化的影響。只要目標明確定義並且有明確的假設，使用者參與，產品體驗等都可以透過A / B測試進行最佳化。

5、A/B test簡例（結合Python實現）

例項背景簡述：

某司「猜你想看」業務接入了的新推薦演算法，新推薦策略演算法開發完成後，在全流量上線之前要評估新推薦策略的優劣，所用的評估方法是A/B test，具體做法是在全量中抽樣出兩份小流量，分別走新推薦策略分支和舊推薦策略分支，透過對比這兩份流量下的指標（這裡按使用者點選衡量）的差異，可以評估出新策略的優劣，進而決定新策略是否全適合全流量。

例項A/B test步驟：

指標：CTR

變體：新的推薦策略

假設：新的推薦策略可以帶來更多的使用者點選。

收集資料：以下B組資料為我們想驗證的新的策略結果資料，A組資料為舊的策略結果資料。均為偽造資料。

分析結果（Python）：

利用 python 中的 scipy.stats.ttest_ind 做關於兩組資料的雙邊 t 檢驗，結果比較簡單。但是做大於或者小於的單邊檢測的時候需要做一些處理，才能得到正確的結果。

from scipy import stats
import numpy as np
import numpy as np
import seaborn as sns

A = np.array([ 1, 4, 2, 3, 5, 5, 5, 7, 8, 9,10,18])
B = np.array([ 1, 2, 5, 6, 8, 10, 13, 14, 17, 20,13,8])
print('策略A的均值是：',np.mean(A))
print('策略B的均值是：',np.mean(B))

Output:
策略A的均值是：6.416666666666667
策略B的均值是：9.75

stats.ttest_ind(B,A,equal_var= False)

output:
Ttest_indResult(statistic=1.556783470104261, pvalue=0.13462981561745652)

對其中部分內容做了修改，其中關於AB test流程步驟做了核心修改，目錄後3部分為個人學習思考所得，希望對大家有所幫助。

本文轉載自資料管道