P2 鄒博機器學習logistic迴歸

ML/DL
(1)資料->模型（,建模，what)；
(2)模型->引數(How，SGD、BGD及其變種+動量、方向、Newton、BFGS、L-BFGS)，可用包實現，優化成為瓶頸；
重點：給定資料，求模型；
ResNet:殘差，梯度可以傳過去；優化方法少，對模型進行優化，適應梯度下降的要求；
分類：logistic迴歸、softmax迴歸；
用線性迴歸解決分類問題？

不建議用迴歸解決分類；不建議混著用；
一個softmax三分類和3個logistic迴歸；二分類是分類問題的基礎；

閾值：0.5;
ML:選擇模型；選擇模型的損失函式；



y服從（2點分佈）m個樣本的二項分佈，使用MLE(最大似然估計)；
logistic得到的是概率值；

求對數，求偏導，得到梯度；（目標函式是似然函式，梯度上升演算法）

h^(thta)model不同，形式相同；二項分佈和高斯分佈都是指數分佈；


logistic迴歸：對數線性；
升維、
特徵：關於x是非線性的，關於thta是線性的。模型使用線性迴歸或者邏輯迴歸；

NLL:負對數似然；
目標函式：樣本關於thta的聯合概率；

對數似然更容易求導數。

特徵學習；