機器學習演算法公式的書寫規範

峻峰飛陽發表於2019-04-11
機器學習演算法公式
  • 樣本數用m表示，且樣本的序號表在右上角，用小括號擴上，例：

\sum_{i=1}^{m}x^{(i)}

所有樣本的特徵向量和

  • 樣本的特徵數用n表示，且特徵的序號標在右下角，例：

\sum_{j=1}^{n}\omega_j x_j + b_j

樣本的每個特徵乘以權值，求和，再加上偏移

  • 單個樣本的損失函式用L表示，例：

L(h(x^{(i)}), y^{(i)})

  • 樣本集的損失函式用J表示，例：

J(w, b) = \frac{1}{m}\sum_{i=1}^{m}L(h(x^{(i)}), y^{(i)})

  •  線性迴歸的損失函式： 

\begin{aligned} J(w, b) = \frac{1}{2m}\sum_{i=1}^{m}(W^TX^{(i))} + b - y^{(i)})^2 \\ = \frac{1}{2m}\sum_{i=1}^{m}(\sum_{j=1}^{n}w_jX^{(i)}_j + b - y^{(i)})^2 \end{aligned}

  •  二分類問題相關公式： 

\begin{aligned} &Y = h_\theta(X) = \frac{1}{1+e^{-\theta^TX}} \\ &P(y=1|X;\theta) = h_\theta(X) \\ &P(y=0|X;\theta) = 1 - h_\theta(X) \\ &P(y^{(i)}|X^{(i)};\theta) = h_\theta(X^{(i)})^{y^{(i)}} * (1 - h_\theta(X^{(i)})) ^ {1 - y^{(i)}} \\ &L(\theta) = \prod^m_{i=1}{P(y^{(i)}|X^{(i)};\theta)} \\ &l(\theta) = log(L(\theta)) = \sum^m_{i=1}{P(y^{(i)}|X^{(i)};\theta)} = y^{(i)}logh_\theta(X^{(i)}) + (1-y^{(i)})log(1 - h_\theta(X^{(i)})) \\ &\theta := \theta + \alpha\bigtriangledown_\theta(l(\theta)) \\ &\theta_j := \theta_j + \alpha(y^{(i)} - h_\theta(X^{(i)})X^{(i)}_j \end{aligned}  

 

 

相關文章