推薦系統系列之二：矩陣分解

@[TOC]

1. 理論基礎

說明介紹：

從數學機率的角度，證明了 MF 的由來。這樣使得 機率矩陣分解（PMF） 和其他模型的“搭配”有了理論的依據。

來源出處：

• Salakhutdinov et al. Probabilistic matrix factorization. NIPS(2008): 1257-1264.

定義和描述

假設現在有 $n$ 個使用者， $m$ 個商品，形成一個 $n\times m$ 維的評分矩陣 $\mathbf{R}$，其中的元素 ru,ir_{u,i}ru,i​ 表示使用者 $u$ 對商品 $i$ 的評分。假設潛在特徵個數為 $k$，那麼 $n\times k$ 維的 $\mathbf{p}$ 表示使用者的潛在特徵矩陣，其中 pumathbf{p}_{u}pu​ 表示使用者 $u$ 的潛在特徵向量； $m\times k$ 維的矩陣 $\mathbf{q}$ 表示商品的潛在特徵矩陣，其中 qimathbf{q}_{i}qi​ 商品 $i$ 的潛在特徵向量。機率模型圖如下圖所示：

主要推導：

假設關於已知評分資料的條件分佈滿足高斯分佈：
p(R∣p,q,σ2)=∏u=1n∏i=1m[N(ru,i∣puqiT,σ2)]Iij, pleft( mathbf{R}|mathbf{p},mathbf{q},sigma^{2} right)=prod_{u=1}^{n}prod_{i=1}^{m}left[ Nleft( r_{u,i}|mathbf{p}_{u}mathbf{q}_{i}^T,sigma^{2} right)right]^{I_{ij}}, p(R∣p,q,σ2)=u=1∏n​i=1∏m​[N(ru,i​∣pu​qiT​,σ2)]Iij​,
其中，Iu,iI_{u,i}Iu,i​ 表示指示函式，當使用者 $u$ 與商品 $i$ 有互動時，Iu,i=1I_{u,i}=1Iu,i​=1，否則為0。

再假設使用者潛在特徵向量和商品潛在特徵向量都服從均值為 0 的高斯先驗分佈，即：
p(p∣σp2)=∏u=1nN(pu∣0,σp2I),p(q∣σq2)=∏i=1mN(qi∣0,σq2I). pleft( mathbf{p}|sigma_{p}^{2} right)=prod_{u=1}^{n}Nleft( mathbf{p}_{u}|0,sigma_{p}^{2}mathbf{I} right),pleft( mathbf{q}|sigma_{q}^{2} right)=prod_{i=1}^{m}Nleft( mathbf{q}_{i}|0,sigma_{q}^{2}mathbf{I} right). p(p∣σp2​)=u=1∏n​N(pu​∣0,σp2​I),p(q∣σq2​)=i=1∏m​N(qi​∣0,σq2​I).
注意這個公式中的 $\mathbf{I}$ 不是指示函式，表示一個對角陣。

然後，計算 $\mathbf{p}$ 和 $\mathbf{q}$ 的後驗機率：
p(p,q∣R,σ2,σq2,σp2)=p(p,q,R,σ2,σq2,σp2)p(R,σ2,σq2,σp2)=p(R∣p,q,σ2)×p(p,q∣σq2,σp2)p(R,σ2,σq2,σp2) pleft( mathbf{p},mathbf{q}|R,sigma^{2},sigma_{q}^{2}, sigma_{p}^{2}right)=frac{ pleft( mathbf{p},mathbf{q},R,sigma^{2},sigma_{q}^{2}, sigma_{p}^{2}right) }{ pleft( R,sigma^{2},sigma_{q}^{2}, sigma_{p}^{2}right) }=frac{pleft( R|mathbf{p},mathbf{q},sigma^{2}right)times pleft( mathbf{p},mathbf{q} |sigma_{q}^{2}, sigma_{p}^{2}right)}{pleft( R,sigma^{2},sigma_{q}^{2}, sigma_{p}^{2}right)} p(p,q∣R,σ2,σq2​,σp2​)=p(R,σ2,σq2​,σp2​)p(p,q,R,σ2,σq2​,σp2​)​=p(R,σ2,σq2​,σp2​)p(R∣p,q,σ2)×p(p,q∣σq2​,σp2​)​

∼p(R∣p,q,σ2)×p(p,q∣σq2,σp2) sim pleft( R|mathbf{p},mathbf{q},sigma^{2}right)times pleft( mathbf{p},mathbf{q} |sigma_{q}^{2}, sigma_{p}^{2} right) ∼p(R∣p,q,σ2)×p(p,q∣σq2​,σp2​)

=p(R∣p,q,σ2)×p(p∣σp2)×p(q∣σq2) =pleft( R|mathbf{p},mathbf{q},sigma^{2} right)times pleft( mathbf{p} | sigma_{p}^{2}right)times pleft( mathbf{q} |sigma_{q}^{2}right) =p(R∣p,q,σ2)×p(p∣σp2​)×p(q∣σq2​)

=∏u=1n∏i=1m[N(ru,i∣puqiT,σ2)]Iu,i×∏u=1n[N(pu∣0,σp2I)]×∏i=1m[N(qi∣0,σq2I)] =prod_{u=1}^{n}prod_{i=1}^{m}left[ Nleft( r_{u,i}|mathbf{p}_{u}mathbf{q}_{i}^T,sigma^{2} right) right]^{I_{u,i}}times prod_{u=1}^{n}left[ Nleft( mathbf{p}_{u}|0,sigma_{p}^{2}I right) right]times prod_{i=1}^{m}left[ Nleft( mathbf{q}_{i}|0,sigma_{q}^{2}I right) right] =u=1∏n​i=1∏m​[N(ru,i​∣pu​qiT​,σ2)]Iu,i​×u=1∏n​[N(pu​∣0,σp2​I)]×i=1∏m​[N(qi​∣0,σq2​I)]

等式兩邊取對數 $ln$ 後得到：
lnp(p,q∣R,σ2,σp2,σq2)=−12σ2∑u=1n∑i=1mIij(ru,i−puqiT)2−12σp2∑i=1NpupuT−12σq2∑i=1MqiqiT lnpleft( mathbf{p},mathbf{q}|mathbf{R},sigma^{2},sigma_{p}^{2}, sigma_{q}^{2}right)=-frac{1}{2sigma^{2}}sum_{u=1}^{n}sum_{i=1}^{m}{I_{ij}left( r_{u,i}-mathbf{p}_{u}mathbf{q}_{i}^T right)^2}-frac{1}{2sigma_{p}^{2}}sum_{i=1}^{N}{mathbf{p}_{u}mathbf{p}_{u}^{T}}-frac{1}{2sigma_{q}^{2}}sum_{i=1}^{M}{mathbf{q}_{i}mathbf{q}_{i}^{T}} lnp(p,q∣R,σ2,σp2​,σq2​)=−2σ21​u=1∑n​i=1∑m​Iij​(ru,i​−pu​qiT​)2−2σp2​1​i=1∑N​pu​puT​−2σq2​1​i=1∑M​qi​qiT​

−12((∑i=1n∑j=1mIu,i)lnσ2+nKlnσp2+mKlnσq2)+C, -frac{1}{2}left( left( sum_{i=1}^{n}{sum_{j=1}^{m}{I_{u,i}}} right) lnsigma^{2}+nKlnsigma_{p}^{2}+mKlnsigma_{q}^{2}right)+C, −21​((i=1∑n​j=1∑m​Iu,i​)lnσ2+nKlnσp2​+mKlnσq2​)+C,

化簡得：
L=12∑u=1n∑i=1mIu,i∣∣ru,i−puqiT∣∣2+λp2∑u=1n∣∣pu∣∣2+λq2∑i=1m∣∣qi∣∣2 L=frac{1}{2}sum_{u=1}^{n}sum_{i=1}^{m}{I_{u,i}left| left| r_{u,i}-mathbf{p}_{u} mathbf{q}^T_{i} right| right|^2}+frac{lambda_{p}}{2}sum_{u=1}^{n}{left| left|mathbf{p}_{u} right| right| ^{2}}+frac{lambda_{q}}{2}sum_{i=1}^{m}{left| left|mathbf{q}_{i} right| right|^{2}} L=21​u=1∑n​i=1∑m​Iu,i​∣∣​∣∣​ru,i​−pu​qiT​∣∣​∣∣​2+2λp​​u=1∑n​∣∣pu​∣∣2+2λq​​i=1∑m​∣∣qi​∣∣2
詳細推導見：

2. 隨機梯度下降法（SGD）

當 λp=λqlambda_{p}=lambda_{q}λp​=λq​ 時，PMF 目標函式就如下：

目標函式：
min⁡p,q12∑(u,i)∈O∥ru,i−puqiT∥2+12λ(∥pu∥2+∥qi∥2) min limits_ {mathbf{p},mathbf{q}} frac{1}{2}sum_{left ( u,i right )in mathbf{O}} {left | r_{u,i}-mathbf{p}_{u} mathbf{q}^T_{i} right |^2} +frac{1}{2}lambda left ( left | mathbf{p}_{u} right |^2 + left | mathbf{q}_{i} right |^2 right ) p,qmin​21​(u,i)∈O∑​∥∥​ru,i​−pu​qiT​∥∥​2+21​λ(∥pu​∥2+∥qi​∥2)
目標函式 $L$ 分別對 pumathbf{p}_{u}pu​ 和 qimathbf{q}_{i}qi​ 進行求導得：
∂L∂qi=−(ru,i−puqiT)pu+λqi frac{partial L}{partial mathbf{q}_{i}}= - left( r_{u,i}-mathbf{p}_{u} mathbf{q}^T_{i} right)mathbf{p}_{u}+ lambda mathbf{q}_{i} ∂qi​∂L​=−(ru,i​−pu​qiT​)pu​+λqi​
∂L∂pu=−(ru,i−puqiT)qi+λpu frac{partial L}{partial mathbf{p}_{u}}= - left( r_{u,i}-mathbf{p}_{u} mathbf{q}^T_{i} right)mathbf{q}_{i} + lambda mathbf{p}_{u} ∂pu​∂L​=−(ru,i​−pu​qiT​)qi​+λpu​

採用的是隨機梯度下降法（SGD）進行求解，更新 pumathbf{p}_{u}pu​ 和 qimathbf{q}_{i}qi​ ：
pu←pu−η∂L∂pu=pu+η((ru,i−puqiT)qi−λpu) mathbf{p}_{u} leftarrow mathbf{p}_{u}-eta frac{partial L}{partial mathbf{p}_{u}} =mathbf{p}_{u}+ eta left( left( r_{u,i}-mathbf{p}_{u} mathbf{q}^T_{i} right)mathbf{q}_{i}- lambda mathbf{p}_{u} right) pu​←pu​−η∂pu​∂L​=pu​+η((ru,i​−pu​qiT​)qi​−λpu​)

qi←qi−η∂L∂qi=qi+η((ru,i−puqiT)pu−λqi) mathbf{q}_{i} leftarrow mathbf{q}_{i}-eta frac{partial L}{partial mathbf{q}_{i}} =mathbf{q}_{i} + eta left( left( r_{u,i}-mathbf{p}_{u} mathbf{q}_{i}^T right)mathbf{p}_{u}-lambda mathbf{q}_{i} right) qi​←qi​−η∂qi​∂L​=qi​+η((ru,i​−pu​qiT​)pu​−λqi​)

令 eui=ru,i−puqiTe_{ui}= r_{u,i}-mathbf{p}_{u} mathbf{q}^T_{i}eui​=ru,i​−pu​qiT​ ，上述式子簡化為：
pu←pu+η(euiqi−λpu) mathbf{p}_{u} leftarrow mathbf{p}_{u}+eta left( e_{ui}mathbf{q}_{i}-lambda mathbf{p}_{u} right) pu​←pu​+η(eui​qi​−λpu​)

qi←qi+η(euipu−λqi) mathbf{q}_{i} leftarrow mathbf{q}_{i} +eta left( e_{ui}mathbf{p}_{u}-lambda mathbf{q}_{i} right) qi​←qi​+η(eui​pu​−λqi​)

核心程式碼：

def update(p, q, r, learning_rate=0.001, lamda_regularizer=0.1):
    error = r - np.dot(p, q.T)            
    p = p + learning_rate*(error*q - lamda_regularizer*p)
    q = q + learning_rate*(error*p - lamda_regularizer*q)
    loss = 0.5 * (error**2 + lamda_regularizer*(np.square(p).sum() + np.square(q).sum()))
    return p,q,loss

實驗結果：

資料集：Movielens100K，隨機分割成訓練集：測試集=8:2

損失函式曲線：

3. 改進

1). 帶偏置的SVD（BiasSVD）

來源出處：

• Koren et al. Matrix factorization techniques for recommender systems.Computer 42.8 (2009).

目標函式：
min⁡p,q12∑(u,i)∈O∥ru,i−r^u,i∥2+12λ(∥pu∥2+∥qi∥2+∥bu∥2+∥bi∥2) min limits_ {mathbf{p},mathbf{q}} frac{1}{2}sum_{left ( u,i right )in mathbf{O}} {left | r_{u,i}-widehat{r}_{u,i} right |^2} +frac{1}{2}lambda left ( left | mathbf{p}_{u} right |^2 + left | mathbf{q}_{i} right |^2 + left | b_{u} right |^2 + left | b_{i} right |^2right ) p,qmin​21​(u,i)∈O∑​∥ru,i​−ru,i​∥2+21​λ(∥pu​∥2+∥qi​∥2+∥bu​∥2+∥bi​∥2)

r^u,i=μ+bu+bi+puqiT widehat{r}_{u,i}=mu + b_u + b_i + mathbf{p}_u mathbf{q}_i^T ru,i​=μ+bu​+bi​+pu​qiT​

$\mu$ ：全部評分的均值

bub_ubu​ ：使用者 $u$ 的評分均值

bib_ibi​ ：商品 $i$ 的評分均值

說明介紹：

該方法考慮了實際生活中，使用者的評分偏好和商品的特性評分。比如，有對於某商品的好與不好，有使用者評分很鮮明，給5和1分；有使用者評分比較委婉，給5和3分。由此產生了不同的評分習慣。加入這些因素，用潛在特徵來預測使用者的喜好與”均值“的偏差更合理。

更新公式：
pu←pu+η(euiqi−λpu) mathbf{p}_{u} leftarrow mathbf{p}_{u}+eta left( e_{ui}mathbf{q}_{i}-lambda mathbf{p}_{u} right) pu​←pu​+η(eui​qi​−λpu​)

qi←qi+η(euipu−λqi) mathbf{q}_{i} leftarrow mathbf{q}_{i} +eta left( e_{ui}mathbf{p}_{u}-lambda mathbf{q}_{i} right) qi​←qi​+η(eui​pu​−λqi​)

bu←bu+η(eui−λbu) b_uleftarrow b_u +eta left( e_{ui}-lambda b_u right) bu​←bu​+η(eui​−λbu​)

bi←bi+η(eui−λbi) b_ileftarrow b_i +eta left( e_{ui}-lambda b_i right) bi​←bi​+η(eui​−λbi​)

核心程式碼：

def update(p, q, bu, bi, aveg_rating, r, learning_rate=0.001, lamda_regularizer=0.1):
    error = r - (aveg_rating + bu + bi + np.dot(p, q.T))            
    p = p + learning_rate*(error*q - lamda_regularizer*p)
    q = q + learning_rate*(error*p - lamda_regularizer*q)
    bu = bu + learning_rate*(error - lamda_regularizer*bu)
    bi = bi + learning_rate*(error - lamda_regularizer*bi)
    return p,q,bu,bi

實驗結果：

資料集：Movielens100K，隨機分割成訓練集：測試集=8:2

loss 曲線：

這圖是引數與本文其他模型相同時的收斂曲線，並不好看。

BiasSVD 的學習率不好調，調小 loss 曲線完美收斂，但是 MAE 和 RMSE 結果並不好看，應該是陷入了區域性收斂區間；當調大時，loss 曲線又不好看，不過實驗結果會好很多。我個人感覺是 BiasSVD 太“精細”了，反而容易陷入區域性最優解。

2). SVD++

來源出處：

• Koren Y. Factor in the neighbors: Scalable and accurate collaborative filtering[J]. ACM Transactions on Knowledge Discovery from Data (TKDD), 2010, 4(1): 1.

目標函式：
min⁡12∑(u,i)∈O∥ru,i−r^u,i∥2+12λ(∥pu∥2+∥qi∥2+∥bu∥2+∥bi∥2+∥yj∥2) min limits_ {} frac{1}{2}sum_{left ( u,i right )in mathbf{O}} {left | r_{u,i}-widehat{r}_{u,i} right |^2} +frac{1}{2}lambda left ( left | mathbf{p}_{u} right |^2 + left | mathbf{q}_{i} right |^2 + left | b_{u} right |^2 + left | b_{i} right |^2+ left | mathbf{y}_{j} right |^2right ) min​21​(u,i)∈O∑​∥ru,i​−ru,i​∥2+21​λ(∥pu​∥2+∥qi​∥2+∥bu​∥2+∥bi​∥2+∥yj​∥2)

r^u,i=μ+bu+bi+(pu+∣Iu∣−12∑j∈Iuyj)qiT widehat{r}_{u,i}=mu + b_u + b_i + left( mathbf{p}_u +left | I_u right |^{-frac{1}{2}}sum_{j in I_u}^{}y_j right)mathbf{q}_i^T ru,i​=μ+bu​+bi​+⎝⎛​pu​+∣Iu​∣−21​j∈Iu​∑​yj​⎠⎞​qiT​

其中 IuI_uIu​ 為使用者 $u$ 評價過的所有電影的集合； yjmathbf{y}_jyj​ 為隱藏的對於商品 $j$ 的隱含喜好； ∣Iu∣−12left | I_u right |^{-frac{1}{2}}∣Iu​∣−21​ 是一個經驗公式。

說明介紹：

SVD++ 是 BiasSVD 的改進版，它考慮了使用者的歷史評分行為，將這些行為資料作為一個偏置加入到模型中，使模型更“精細”。

更新公式：
pu←pu+η(euiqi−λpu) mathbf{p}_{u} leftarrow mathbf{p}_{u}+eta left( e_{ui}mathbf{q}_{i}-lambda mathbf{p}_{u} right) pu​←pu​+η(eui​qi​−λpu​)

qi←qi+η(eui(pu+∣Iu∣−12∑j∈Iuyj)−λqi) mathbf{q}_{i} leftarrow mathbf{q}_{i} +eta left( e_{ui}left( mathbf{p}_u +left | I_u right |^{-frac{1}{2}}sum_{j in I_u}^{}mathbf{y}_j right) -lambda mathbf{q}_{i} right) qi​←qi​+η⎝⎛​eui​⎝⎛​pu​+∣Iu​∣−21​j∈Iu​∑​yj​⎠⎞​−λqi​⎠⎞​

bu←bu+η(eui−λbu) b_uleftarrow b_u +eta left( e_{ui}-lambda b_u right) bu​←bu​+η(eui​−λbu​)

bi←bi+η(eui−λbi) b_ileftarrow b_i +eta left( e_{ui}-lambda b_i right) bi​←bi​+η(eui​−λbi​)

yj←yj+η(eui∣Iu∣−12qi−λyj) mathbf{y}_j leftarrow mathbf{y}_j +eta left( e_{ui} left | I_u right |^{-frac{1}{2}}mathbf{q}_{i} -lambda mathbf{y}_{j} right) yj​←yj​+η(eui​∣Iu​∣−21​qi​−λyj​)

核心程式碼：

def update(p,q,bu,bi,Y,aveg_rating,r,Ru,learning_rate=0.001,lamda_regularizer=0.1):
    Iu = np.sum(Ru>0)
    y_sum = np.sum(Y[np.where(Ru>0)],axis=0)
    error = r - (aveg_rating + bu + bi + np.dot(p+Iu**(-0.5)*y_sum, q.T))            
    p = p + learning_rate*(error*q - lamda_regularizer*p)
    q = q + learning_rate*(error*(p + Iu**(-0.5)*y_sum) - lamda_regularizer*q)
    bu = bu + learning_rate*(error - lamda_regularizer*bu)
    bi = bi + learning_rate*(error - lamda_regularizer*bi)
    
    for j in np.where(Ru>0):
        Y[j] = Y[j] + learning_rate*(error*Iu**(-0.5)*q - lamda_regularizer*Y[j])

    return p,q,bu,bi,Y

實驗結果：

資料集：Movielens100K，隨機分割成訓練集：測試集=8:2

3). timeSVD

來源出處：

• Koren et al. Collaborative filtering with temporal dynamics. Communications of the ACM 53.4 (2010): 89-97.

目標函式：
min⁡12∑(u,i)∈O∥ru,i−r^u,i∥2+12λ(∥pu∥2+∥qi∥2+∥bu∥2+∥bi∥2) min limits_ {} frac{1}{2}sum_{left ( u,i right )in mathbf{O}} {left | r_{u,i}-widehat{r}_{u,i} right |^2} +frac{1}{2}lambda left ( left | mathbf{p}_{u} right |^2 + left | mathbf{q}_{i} right |^2 + left | b_{u} right |^2 + left | b_{i} right |^2right ) min​21​(u,i)∈O∑​∥ru,i​−ru,i​∥2+21​λ(∥pu​∥2+∥qi​∥2+∥bu​∥2+∥bi​∥2)

r^u,i=μ+bu(t)+bi(t)+pu(t)qiT widehat{r}_{u,i}=mu + b_uleft ( tright) + b_ileft ( tright) + mathbf{p}_uleft ( tright) mathbf{q}_i^T ru,i​=μ+bu​(t)+bi​(t)+pu​(t)qiT​

其中，$t$ 為時間因子，表示不同的時間狀態。

說明介紹：

文中假設：使用者的興趣是隨時間變化的，即 pumathbf{p}_upu​ 與時間 $t$ 相關。而 qimathbf{q}_iqi​ 為商品的固有特徵，與時間因素無關。比如，大部分使用者夏天買短袖、短褲，冬天買長袖、羽絨服，時間效應明顯。qimathbf{q}_iqi​ 反映的是商品屬性：你評價或者不評價，我都在這裡，不增不減。同時，假設使用者和商品的評分偏置也隨時間 $t$ 的變化而變化。

4. 模型對比

在相同學習率 $\eta$、相同正則項係數 $\lambda$、相同特徵維度 $K$、相同迭代次數的情況下，

即 learning_rate = 0.005，lamda_regularizer = 0.1，K = 10，max_iteration = 100

從上到下，演算法剛開始提升效果非常明顯，到後來提升效果越來越小。當然，如果再調整引數，結果肯定還會有所提升。

5. 擴充

1) 與主題模型結合

來源出處：

• Wang, Chong, and David M. Blei. “Collaborative topic modeling for recommending scientific articles.” Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. 2011.

示意圖：

大的框架為 LDA 主題模型，小的框架為 PMF 模型。

目標函式：
min⁡U,V12∑(i,j)∈Oci,j∥ru,i−uivjT∥2+12λu∑i∥ui∥2+12λv∑j∥vj−θj∥2−∑j∑hlog(∑kθi,kβk,wj,h) min limits_ {mathbf{U},mathbf{V}} frac{1}{2}sum_{left ( i,j right )in mathbf{O}}c_{i,j} {left | r_{u,i}-u_{i} v^T_{j} right |^2} +frac{1}{2}lambda_u sum_{i} left | u_{i} right |^2 + frac{1}{2}lambda_v sum_{j}left | v_{j}- theta_j right |^2 -sum_{j}sum_{h}log left(sum_{k} theta_{i,k}beta_{k,w_{j,h}} right) U,Vmin​21​(i,j)∈O∑​ci,j​∥∥​ru,i​−ui​vjT​∥∥​2+21​λu​i∑​∥ui​∥2+21​λv​j∑​∥vj​−θj​∥2−j∑​h∑​log(k∑​θi,k​βk,wj,h​​)
其中，θjtheta_jθj​ 表示商品 $j$ 文字資訊的主題分佈，βk,wj,hbeta_{k,w_{j,h}}βk,wj,h​​ 表示文中 $j$ 中主題 $k$ 下詞語 $h$ 的分佈。

簡單說明：

有些領域它們除了有互動資訊外，文字內容比較豐富，比如新聞，學術論文。用主題模型獲取文字資訊，彌補互動資訊不足時的情況。當互動資訊豐富時，PMF 依舊其主要作用。

2) 與社交網路結合

來源出處：

• Purushotham, Sanjay, Yan Liu, and C-C. Jay Kuo. “Collaborative topic regression with social matrix factorization for recommendation systems.” arXiv preprint arXiv:1206.4684 (2012).

示意圖：

紅色的框架為上一個模型，藍色圖為新增的社交資訊框架。

目標函式：
min⁡U,V12∑(i,j)∈Oci,j∥ru,i−uivjT∥2+12λu∑i∥ui∥2+12λv∑j∥vj−θj∥2−∑j∑hlog(∑kθi,kβk,wj,h) min limits_ {mathbf{U},mathbf{V}} frac{1}{2}sum_{left ( i,j right )in mathbf{O}}c_{i,j} {left | r_{u,i}-u_{i} v^T_{j} right |^2} +frac{1}{2}lambda_u sum_{i} left | u_{i} right |^2 + frac{1}{2}lambda_v sum_{j}left | v_{j}- theta_j right |^2 -sum_{j}sum_{h}log left(sum_{k} theta_{i,k}beta_{k,w_{j,h}} right) U,Vmin​21​(i,j)∈O∑​ci,j​∥∥​ru,i​−ui​vjT​∥∥​2+21​λu​i∑​∥ui​∥2+21​λv​j∑​∥vj​−θj​∥2−j∑​h∑​log(k∑​θi,k​βk,wj,h​​)

+12λg∑i,f∥gi,f−uisfT∥2+12λs∑k∥sk∥2 +frac{1}{2}lambda_g sum_{i,f}left | g_{i,f}- u_{i}s_f^T right |^2 +frac{1}{2}lambda_s sum_{k} left | s_{k} right |^2 +21​λg​i,f∑​∥∥​gi,f​−ui​sfT​∥∥​2+21​λs​k∑​∥sk​∥2

其中，sks_{k}sk​ 為使用者的社交矩陣。

簡單說明：

上一個模型上“豐富”了商品的特徵向量，這個模型採用使用者的社交資訊來“豐富”使用者的特徵矩陣。

3) 與神經網路（CNN）結合

來源出處：

• Kim, Donghyun, et al. “Convolutional matrix factorization for document context-aware recommendation.” Proceedings of the 10th ACM Conference on Recommender Systems. 2016.

示意圖：

左側為 PMF 模型，右側為 CNN 構建。

目標函式：
min⁡U,V12∑(i,j)∈O∥ru,i−uivjT∥2+12λu∑i∥ui∥2+12λv∑j∥vj−cnn(W,Xj)∥2+12λk∑k∥wk∥2 min limits_ {mathbf{U},mathbf{V}} frac{1}{2}sum_{left ( i,j right )in mathbf{O}} {left | r_{u,i}-u_i v^T_{j} right |^2} +frac{1}{2}lambda_u sum_{i} left | u_{i} right |^2 + frac{1}{2}lambda_v sum_{j}left | v_{j}-cnnleft( W,X_jright) right |^2 +frac{1}{2}lambda_k sum_{k} left | w_{k} right |^2 U,Vmin​21​(i,j)∈O∑​∥∥​ru,i​−ui​vjT​∥∥​2+21​λu​i∑​∥ui​∥2+21​λv​j∑​∥vj​−cnn(W,Xj​)∥2+21​λk​k∑​∥wk​∥2
其中，XiX_iXi​ 為商品 $i$ 的文字評論，$W$ 為 CNN 網路權重。