《重疊實驗框架》閱讀分析

前朝俊傑發表於2018-04-23
框架
實驗環境
模組化測試：
1、將實驗分為多個模組，單個控制和多個組合控制，這樣能使實驗工作模組化，單元化。
2、問題：可能會有流量飢餓和偏置缺失問題

流量分配（非工程師可靈活更改）：
1、隨機流量（UE不一致問題）
2、cookie取模
3、使用者ID取模
4、COOKIE日期取模

重疊實驗框架核心
論文中主要的方案核心為將引數劃分為子集，每個子集都包含不能相互獨立的引數。
一個子集和一個包含實驗的曾相關聯，而在不同層次上的交通分流則是正交的。

域（部分流量）>層（引數子集）>實驗
核心：巢狀分層，實驗時改變（層）裡面的引數。
ps：這裡只支援AB測試，Google的website optimizer支援多因子多組合的測試，還可以和ga聯合，具體怎麼實施沒試過，傳說用的還可以。

三個領域：
1、關於多因素實驗的大量統計文獻
2、關於如何執行web實驗的不斷增長的工作
3、交叉實驗

相關文章