nndl-復旦-神經網路與深度學習筆記第二章習題

第二章習題

參考資料https://www.cnblogs.com/douzujun/p/13285715.html

• 習題 2-1 分析為什麼平方損失函式不適用於分類問題．

  分類問題中的標籤，是沒有連續的概念的。每個標籤之間的距離也是沒有實際意義的，所以預測值 和 標籤兩個向量之間的平方差這個值不能反應分類這個問題的優化程度。 假設分類問題的類別是1,2,3 那麼對於一個真實類別為2的樣本X，模型的分類結果是 1 或 3，平方損失函式得到的結果都一樣，顯然不適合。

$$解：y_n維數為1\ast 1；w_n和w_n維數為n\ast 1$$

$$顯然：w^T{x}_n=x_n^{T}w$$

$$故：R(w)=\frac{1}{2}\sum _{n=1}^N{r}_n(y_n-x_n^{T}w{)}^2$$

$$對R(w)求導並讓其為0，得：R(w)=\sum _{n=1}^N-r_n{x}_n(y_n-x_n^{T}w)=0$$

$$即：w^{\ast }=(\sum _{n=1}^N(r_n{x}_n{x}_n^T{)}^{-1})(\sum _{n=1}^N{r}_n{x}_n{y}_n)$$

r(n): 為每個樣本都分配了權重，相當於對每個樣本都設定了不同的學習率，即，理解成對每個樣本重視程度不同。

$$\begin{gathered} 答：已知： \\ R(w)=\frac{1}{2}||y-X^{T}w|{|}^2+\frac{1}{2}\lambda ||w|{|}^2 \\ 要求：w^{\ast }=(X{X}^T+\lambda I{)}^{-1}Xy \\ 解：R(w)=\frac{1}{2}(y-X^{T}w{)}^T(y-X^{T}w)+\frac{1}{2}\lambda w^{T}w \\ 令\frac{\partial R(w)}{\partial w}=0,得： \\ \frac{\partial R(w)}{\partial w}=-X(y-X^{T}w)+\lambda w=0解得: \\ {w}^{\ast }=(X{X}^T+\lambda I{)}^{-1}Xy \\ 得證 \end{gathered}$$

答：
$$\begin{gathered} 已知：\log p(y|X;w,\delta )=\sum _{n=1}^N\log \mathcal{N}(y_n;w^T{x}_n,{\delta }^2) \\ 注：\mathcal{N}(y_n;w^T{x}_n,{\delta }^2)=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(y_n-w^T{x}_n{)}^2}{2{\delta }^2}) \\ 目的：w^{M}L=(X{X}^T{)}^{-1}Xy \\ 令\frac{\partial \log p(y|X;w,\delta )}{\partial w}=0,化簡得： \\ \frac{\partial ({\sum }_{n=1}^N\frac{-(y_n-w^T{x}_n{)}^2}{2\beta })}{\partial w}=0 \\ \frac{\partial \frac{1}{2}||y-X^{T}w|{|}^2}{\partial w}=0 \\ -X(y-X^{T}w)=0 \\ 得： \\ {w}^{ML}=(X{X}^T{)}^{-1}Xy \end{gathered}$$

$$\begin{gathered} 1)x服從\mathcal{N}(x_n;\mu ,{\delta }^2): \\ \log \mathcal{N}(x_n;\mu ,{\delta }^2)=\log \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(x_n-\mu {)}^2}{2{\delta }^2})=\frac{1}{2}log\frac{1}{2\pi {\delta }^2}-\frac{(x_n-\mu {)}^2}{2{\delta }^2} \\ 似然函數：\log p(x|\mu ,\delta )=\sum _{n=1}^N\log \mathcal{N}(x_n;\mu ,{\delta }^2)=\frac{N}{2}log\frac{1}{2\pi {\delta }^2}-\sum _{n=1}^N\frac{(x_n-\mu {)}^2}{2{\delta }^2} \\ 令\frac{\partial \log p(x|\mu ,\delta )}{\partial \mu }=0,化簡得： \\ \sum _{n=1}^N\frac{x_n}{{\delta }^2}=\frac{N\mu }{{\delta }^2} \\ 故：{\mu }^{ML}=\frac{{\sum }_{n=1}^N{x}_n}{N} \end{gathered}$$

• 一元:

  “我”、“打了”、“張三”
  $$\begin{gathered} x_1=[1,1,1] \\ {x}_2=[1,1,1] \end{gathered}$$

• 二元:

  “#我”、“我打了”、“打了張三 ”、“張三打了”、“打了我“
  $$\begin{gathered} x_1=[1,1,1,1,0] \\ {x}_2=[0,0,0,1,1] \end{gathered}$$

• 三元:

  ”##我“、”#我打了“、”我打了張三“、”打了張三#“、”張三打了我“、”打了我#“
  $$x_1=[1,1,1,1,0,0]x_2=[0,0,0,0,1,1]$$
  詞袋模型將文字看作詞的集合， 不考慮詞序資訊， 不能精確地表示文字資訊

真實類別\預測類別	1	2	3
1	1	1	0
2	0	2	1
3	1	1	2