深度UPLIFT模型在騰訊金融使用者增長場景中的應用

　　導讀：今天的分享主要聚焦在深度 UPLIFT 模型，包括該類模型的主要技術挑戰和發展脈絡，同時介紹深度 UPLIFT 模型助力騰訊金融科技使用者增長的經典案例。

　　 01 UPLIFT 模型簡介

　　首先介紹一下 UPLIFT 模型。

　　一個經典的場景：市場營銷活動怎麼找到最優投放客群？或者怎麼找到最優的營銷激勵方式？　　

　　普遍的思路就是投放高意願（上圖 Sure Things 和 Persuadable 象限）的使用者，但是這個思路最大的問題是：它忽略了自然流量下的使用者轉化。首先，高意願使用者中有一部分使用者（Sure Things 象限使用者）不投放也能夠自然轉化；此外，在折扣券的營銷模式下，直接對高意願使用者進行投放往往會帶來一個高成本的損耗。那是不是可以轉而投低意願（Do Note Disturbs 和 Lost Causes 象限）的使用者呢？透過投放將他們的消費意願提升？事實上，對於低意願的使用者，他們轉化的機率本來就很低，可能無論你怎麼投他都不轉化，甚至會永久流失，但是消耗大量營銷成本。

　　因此，在解決這類市場營銷問題前，我們需要先回到市場營銷學的概念——“營銷增益”上。“營銷增益”的意思就是我們的營銷活動應該聚焦在能被改變立場的那一部分使用者。通俗的說我們要找的目標客群就是營銷前不會轉化，但是營銷後會轉化的人群（Persuadable 象限人群），而 UPLIFT 模型就是為了找到這些對營銷激勵敏感的人群。

　　1. UPLIFT 模型 VS 響應（Response）模型

　　（1）響應模型

　　在判斷對使用者營銷後使用者是否會轉化時，往往會構建一個響應（Response）模型，模型會預測每個使用者的轉化率，然後我們會根據一系列的資料分析、成本預估等，劃定一個轉化率閾值，對預測高於這個轉化率閾值的使用者進行投放。響應模型簡單高效，能直接用當前所有主流的機器學習/深度學習等模型進行構建，但是它最大的問題就是沒有考慮不營銷也能轉化的那一部分自然轉化流量，因此建模目標和商業目標並不完全匹配。　　

　　（2）UPLIFT 模型

　　UPLIFT 模型則用一個或多個模型來分別預測使用者在營銷下的轉化率和非營銷下的轉化率，這兩個值的差值就是 UPLIFT。最終我們根據 UPLIFT 值的大小來決策是否投放。

　　對比上圖中響應模型和 UPLIFT 模型曲線圖可以看出，UPLIFT 模型會導致干預時間提前。在使用者流失預警場景中，運營需要對即將流失的使用者進行提前挽留。在實際應用中，預測使用者流失的具體時間是沒有意義的，對這部分使用者施加挽留措施可能已經錯過更優干預時點，而預測能夠被運營措施挽留的使用者才有落地價值。

　　2. UPLIFT 模型和因果推斷　　

　　UPLIFT 模型本身是因果推斷領域的，上圖簡單總結了基於觀察研究的因果推斷。首先包括經典的因果推斷方法，這類方法主要是研究平均干預效應，形成策略效果的整體方向性評估，比如有學者研究“吸菸是否有害健康”，得出長期吸菸會降低壽命期望的結論，這樣的結論往往是方向性的，形成不了具體的策略，這就是我們在實際工作中面臨的一個問題——即因果推斷方法怎麼去落地。另一方面，UPLIFT 模型屬於研究異質因果效應類的模型，發現對不同的群體或者不同的個體進行干預所產生的效果是不一樣的，從而發現干預機制規律，形成個性化的策略落地。

　　接下來我們介紹幾個定義：　　

　　（1）Neyman-Rubin 潛在結果框架: 個體（樣本）由自身固有屬性呈現出潛在結果，這種潛在結果往往在現實世界中只能存在一面，這就會帶來一個很大的問題：歸納偏置（Inductive Bias）。

　　（2）CATE: UPLIFT 模型的建模目標。

　　（3）無混雜基本假設（Unconfoundedness）：對混淆因素進行控制（且沒有未發現混雜因素）進行預估才能得到無偏的 CATE。

　　3. UPLIFT 模型的行業應用　　

　　UPLIFT 模型有廣泛的行業應用，應用途徑大概分為兩類：一類是評估干預的異質性效應 HTE。以 A/B 測試為例，可能在整體上觀測到的干預效應不顯著，但是透過 UPLIFT 模型下鑽能找到干預效果顯著的子群體。一類是策略最佳化，包括公共服務領域和網際網路個性化營銷領域的策略定製。

　　 02 技術挑戰

　　1. UPLIFT 模型建模過程

　　UPLIFT 建模首先是資料收集，一般情況下我們先建立隨機對照實驗，實驗組全都進行干預，對照組都不干預， 隨後收集樣本用 UPLIFT 模型建模。

　　以 T-Leaner 為例，干預樣本可以構建一個響應模型，非干預樣本可以構建一個響應模型，最後得到的打分求差就是 UPLIFT 值。　　

　　2. UPLIFT 建模的兩個核心問題

　　UPLIFT 建模有兩個核心問題：

　　（1）混雜因素偏置 Confounding Bias

　　由於干預機制導致的選擇偏差，引起干預樣本和不干預樣本的特徵分佈不一致，產生了混雜因素。這一類混雜因素一方面會影響干預，也會影響結果。由於混雜因素的存在，我們無法得到一個乾淨的因果效應。具體案例比如：

　　① 流行度偏差：曝光集中在熱門干預；

　　② 選擇偏差：不同人群物品曝光差異。

　　基於這樣的樣本去建模大機率是得不到置信度高的結論的。

　　主要的解決方法：

　　① 在 loss 引入傾向分正則項；

　　② 在模型結構引入傾向分鏈式、對抗結構；

　　③ 傾向分逆加權取樣；

　　④ 解離表徵：試圖將混雜因素項解離到一個向量中。　　

　　（2）歸納偏置 Inductive Bias

　　如下圖所示：當樣本/個體分別在干預/不干預的模型下進行打分後的分佈不一致時，我們對干預打分-非干預打分差值（CATE）進行分佈統計時會發現抖動很厲害，不同個體/群體之間的 UPLIFT 差別很難分辨，這說明 UPLIFT 模型預測基本是失效的。　　

　

　　這個案例就展示了歸納偏置（Inductive Bias）問題：從模型架構角度，預估反事實結果無監督訊號，或潛在結果預估正則化程度不一致，導致最終 UPLIFT 預估不穩定。

　　回到 Neyman-Rubin 潛在結果框架，對於不同的個體我們只知道干預的結果或者不干預的結果，不可能同時知道干預和不干預的結果，這導致了兩個潛在結果預估的分佈不一致；而且我們的深度模型建模目標往往是 CTR 或者 CVR ，他們本身不可能直接得到一個增益得分（UPLIFT），這就導致我們的建模目標和最終評估的指標是不一致的。在圖中我們可以看到 CATE 的分佈與潛在結果預估得分分佈完全不一致。這一系列的問題我們都總結為歸納偏置問題。歸納偏執問題是 UPLIFT 模型的一個核心問題，目前學界大概提出了以下四種解決方法：

　　① 反事實輸出向量一致性，MMD 等分佈對齊方法；

　　② 設計合理的共享引數架構，FlexTENet、S-Net；

　　③ 反事實引數差異限制；

　　④ 在模型結構引入重參結構（reparametrization），EUEN。　　

　　3. UPLIFT 模型應用挑戰

　　介紹完 UPLIFT 的核心問題後，接下來簡單說一下 UPLIFT 模型的應用挑戰。在金融領域主要有兩大類：一類是多值/ 連續值干預，一類是連續結果預估。　　

　　 03 深度 UPLIFT 模型發展脈絡　　

　　沿著剛剛提出的 UPLIFT 模型的兩大核心問題——混雜因質偏置和歸納偏置，學界和工業界提出了很多解決方案。

　　首先最基本的是 Meta-Learner，代表的建模方案有 S-Learner 和 T-Learner，隨後進入深度學習後就演化出來以解決混雜偏置為代表的 DragonNet、DESCN、S-Net、CFRNet 等，和以解決歸納偏置為代表的 FlexTENet、S-Net、EUEN、DESCN、GANITE、CFRNet 等。

　　 04 應用案例：信用卡還款劵營銷

　　接下來介紹 UPLIFT 模型在金融科技領域的應用案例。UPLIFT 模型的應用往往需要結合運營措施和模型迭代。在運營活動中我們從小流量隨機投放開始收集干預/非干預的樣本，然後進行可行性驗證及實驗設計、策略性分客群投放、UPLIFT 模型構造及投放評估。　　

　　其中 UPLIFT 模型方案完成了三代迭代：

　　（1）第一代解決方案：Meta-Learner

　　第一代解決方案以 Meta-Learner 為主，快速上線以達到業務的目標，業務的痛點是期望控制營銷 ROI 並放量。　　

　　（2）第二代解決方案：從 CFRnet 到 EFIN

　　第二代主要是以深度學習架構為基礎的，主要目的是為了實現多劵個性化運營， 是一個多值干預的問題。主要用到的模型有 CRFnet 和自研的 EFIN （Explicit Feature Interaction uplift Network）。　　

　　這裡我們重點介紹下自研的 EFIN 模型。這個演算法主要有三個模組：

　　第一個模組是自互動層，用一個 Self-Attetion 網路實現大規模使用者特徵的充分學習。

　　第二個模組是整個演算法的關鍵，將干預變數 T 單獨進行顯式表示學習，這有利於解決多值干預問題。隨後將干預 T 和特徵 X 採用注意力機制交叉，加強異質性效應學習，而這恰恰是 UPLIFT 模型要學習的目標。並使用了重參（Reparametrization）法作為預估輸出，緩解了潛在結果打分分佈不一致的問題。

　　第三個模組使用干預約束項，讓模型難以區分樣本是否有被幹預過，以圖解決混雜偏置（Confounding Bias）問題。　　

　　

　　

　　（3）第三代解決方案：多目標 UPLIFT 模型

　　多目標 UPLIFT 模型為了同時建模 Ctr-Lift 和 Value-Lift， 預期實現 ROI>1 的同時實現 GMV 增長。裡面最大的難點是金額的 UPLIFT 建模困難，因為金額本身兩個反事實的預估結果就方差很大，再相減得到的 UPLIFT 方差更大，想要得到穩定的 UPLIFT 是比較難的，目前還在著力解決中。　　

　　 05 總結

　　這次講座中，介紹了 UPLIFT 建模的兩大核心問題以及兩個應用挑戰和三代的解決方案，並重點介紹了自研 EFIN 模型。未來會在多目標 UPLIFT 建模、ROI 約束、動態UPLIFT 建模、 觀測資料糾偏這一系列方向中去更深入的研究。