習題11.1
由題，根據公式 \(P(Y) = \frac{1}{\sum \limits_Y \prod \limits_C \Psi_C(Y_C)} \prod \limits_C \Psi_C(Y_C)\)
概率無向圖模型的因子分解為將概率無向圖模型的聯合概率分佈表示為其最大團上的隨機變數的函式的乘積形式的操作
圖11.3 的最大團為 \(\{Y_1, Y_2, Y_3\}\) 和 \(\{Y_2, Y_3, Y_4\}\)
所以 ，\(P(Y) = \frac{\Psi_{(1,2,3)} (Y_{(1,2,3)}) * \Psi_{(2,3,4)} (Y_{(2,3,4)})}{\sum \limits_Y[\Psi_{(1,2,3)} (Y_{(1,2,3)}) * \Psi_{(2,3,4)} (Y_{(2,3,4)})]}\)
習題11.2
第1步，證明 \(Z(x) = \alpha^T_n(x)*1\)
根據條件隨機場的矩陣形式， \((M_{n+1}(x))_{i,j} = \begin{cases} 1, j=stop \\ 0, otherwise\end{cases}\)
根據前向向量的定義 ，\(\alpha_0(y_0|x) = \begin{cases} 1, y_0=start \\ 0, otherwise \end{cases}\)
所以，\(Z_n(x) = (M_1(x) M_2(x) ... M_{n+1} (x))_{stop, end} \\ = \alpha_0^T(x)M_1(x)M_2(x)...M_n(x)*1 \\ = \alpha_n^T(x)*1\)
第二步，證明 \(Z(x) = 1^T*\beta^T_1(x)\)
根據後向向量的定義，\(\beta_{n+1}(y_{n+1 | x}) = \begin{cases} 1,y_{n+1} = stop \\ 0,otherwise\end{cases}\)
所以，\(Z_n(x) = (M_1(x) M_2(x) ... M_{n+1} (x))_{stop, end} \\ = (M_1(x)M_2(x)...M_n(x)\beta_{n+1}(x))_{start} \\ = (\beta_1(x))_{start} = 1^T * \beta_1(x)\)
綜上所述，\(Z(x) = \alpha^T_n(x)*1 = 1^T*\beta^T_1(x)\)
習題11.3
條件隨機場的極大似然函式為 \(L(w)=\sum \limits ^N_{j=1} \sum \limits^K_{k=1} w_k f_k(y_j,x_j)-\sum \limits ^N_{j=1} \log{Z_w(x_j)}\)
極大化似然函式就是極小化損失函式，所以 \(f(w) = -L(w)\)
損失函式的梯度為 \(g(w) = \nabla f(w) =(\frac{\partial f(w)}{\partial w_i} ...)\)
其中， \(\frac{\partial f(w)}{\partial w_i} = -\sum \limits^N_{j=1} w_i f_i(y_j,x_j) + \sum \limits ^N_{j=1} \frac{1}{Z_w(x_j)} \cdot \frac{\partial{Z_w(x_j)}}{\partial{w_i}} \\ = -\sum \limits ^N_{j=1}w_if_i(y_j,x_j)+\sum \limits ^N_{j=1}\frac{1}{Z_w(x_j)}\sum_y(\exp{\sum^K_{k=1}w_kf_k(y,x_j))}w_if_i(y,x_j)\)
後面就可以用梯度下降法進行求解
習題11.4
以\(start=2\)為起點，\(stop=2\)為終點的所有路徑的狀態序列\(y\)的概率為：
路徑為：2->1->2->1->2 概率為：0.21
路徑為：2->2->1->1->2 概率為：0.175
路徑為：2->2->1->2->2 概率為：0.175
路徑為：2->1->2->2->2 概率為：0.14
路徑為：2->2->2->1->2 概率為：0.09
路徑為：2->1->1->1->2 概率為：0.075
路徑為：2->1->1->2->2 概率為：0.075
路徑為：2->2->2->2->2 概率為：0.06
概率最大的狀態序列為2->1->2->1->2