接著廣告模型初探（一），這篇主要介紹一下廣告預估模型目前的幾大派系，主要分為LR派系、FM派系、DNN派系。
（0）LR派系
a.大師兄：LR模型
廢話不多說，先上公式
，其中
，這裡我們定義一下：
，那麼整個公式可以寫成：
優點：模型簡單、可以處理離散化特徵、容易實現分散式的計算
缺點：特徵與特徵之間在模型中是相對獨立的，對於一些存在交叉可能性的特徵（比如: 衣服型別與性別，這兩個特徵交叉很有意義），需要進行大量的人工特徵工程進行交叉。雖然模型很簡單，但是人工的工作卻繁重了很多。而且LR需要將特徵進行離散化，歸一化，在離散化過程中也可能出現邊界問題。
b.二師兄：GBDT模型
公式如下：
優點：能夠處理連續值特徵，比如使用者歷史點選率，使用者歷史瀏覽次數等連續值特徵；而且由於樹的分裂演算法，它具有一定的組合特徵的能力，模型的表達能力要比LR強。GBDT對特徵的數值線性變化不敏感，它會按照目標函式，自動選擇最優的分裂特徵和該特徵的最優分裂點，而且根據特徵的分裂次數，還可以得到一個特徵的重要性排序。所以，使用GBDT能夠減少人工特徵工程的工作量和進行特徵篩選。
缺點：GBDT善於處理連續值特徵，但是在廣告場景中，出現的都是大規模離散化特徵，如果我們需要使用GBDT的話，則需要將很多特徵統計成連續值特徵（或者embedding），這裡可能需要耗費比較多的時間。同時，因為GBDT模型特點，它具有很強的記憶行為，不利於挖掘長尾特徵，而且GBDT雖然具備一定的組合特徵的能力，但是組合的能力十分有限，遠不能與後續介紹的DNN相比
（1）FM派系
a.大師姐：FM模型
具體公式如下:
對照前面的LR模型的公式我們可以發現，FM模型主要多了一個二次交叉項，這剛好彌補了LR模型無法處理大量交叉特徵的問題。從公式中我們可以發現FM需要一個二維權重矩陣wij，對於大規模離散特徵來說，這個二維權重矩陣的維度會很大，為了解決這個問題，FM的作者利用矩陣分解將wij分解為了wij=<vi,vj>，所以FM的公式又可以寫成
優點：可以處理二次交叉特徵、可以實現線性的時間複雜度、模型訓練速度快
缺點：對於不同的特徵組合，採用的是同樣的向量做內積，會帶來一定的資訊損失，因此也就引出了 “二師姐” FFM模型。
b.二師姐：FFM模型
FFM是在FM的基礎上引入了“場”的概念而形成的新模型。在FM中計算特徵xi與其他特徵的交叉影響時，使用的都是同一個隱向量Vi。而FFM模型則事先將特徵按照一定的規則分為多個場。特徵xi屬於某個特定的場f，每個特徵將被對映為多個隱向量vi1...vif 。當兩個特徵xi,xj組合在一起時，用對方對應的場對應的隱向量做內積:
優點：FFM 由於引入了場，使得每兩組特徵交叉的隱向量都是獨立的，可以取得更好的組合效果， FM 可以看做只有一個場的 FFM。
缺點：引數量巨大，在訓練時極易過擬合。
今天先說到這兒，下一篇我們再接著介紹目前廣告預估模型的集大成者DNN派系吧，後會有期！
歡迎關注微信公眾號：計算廣告那些事兒
不定期分享演算法工程師相關面經和計算廣告相關的文章