吳恩達機器學習筆記 —— 5 多變數線性迴歸

xingoo發表於2018-07-16

本篇主要講的是多變數的線性迴歸,從表示式的構建到矩陣的表示方法,再到損失函式和梯度下降求解方法,再到特徵的縮放標準化,梯度下降的自動收斂和學習率調整,特徵的常用構造方法、多維融合、高次項、平方根,最後基於正規方程的求解。

更多內容參考 機器學習&深度學習

在平時遇到的一些問題,更多的是多特徵的
吳恩達機器學習筆記 —— 5 多變數線性迴歸
多變數的表示方法
吳恩達機器學習筆記 —— 5 多變數線性迴歸
多元線性迴歸中的損失函式和梯度求解
吳恩達機器學習筆記 —— 5 多變數線性迴歸

吳恩達機器學習筆記 —— 5 多變數線性迴歸
有時候特徵各個維度是不同規模的,比如房間的平米數和房間數,兩個數量級相差很大。如果不叢任何處理,可能導致梯度優化時的震盪。
吳恩達機器學習筆記 —— 5 多變數線性迴歸
一般如果特徵時在可接受的範圍內,是不需要做特徵縮放的。如果很大或者很小,就需要考慮進行特徵的縮放了。
吳恩達機器學習筆記 —— 5 多變數線性迴歸
標準化,即
吳恩達機器學習筆記 —— 5 多變數線性迴歸
自動收斂測試:如果梯度在優化後變化很小,比如10^-3,那麼就認為梯度優化已經收斂。
吳恩達機器學習筆記 —— 5 多變數線性迴歸
如果發現誤差在不斷的增加或者不斷的抖動,那麼應該減小學習率,這一版都是由於學習率過大導致的震盪。但是如果學習率設定的很小,收斂的速度又會很慢。一般都是採用不同的學習率來測試,比如0.001, 0.01, 0.1, 1 ....
吳恩達機器學習筆記 —— 5 多變數線性迴歸
有的時候我們選擇的特徵,並不是直接使用資料,而是通過資料擬合出新的特徵。比如我們有房子的長寬,但是使用特徵的時候,可以構造出一個面積特徵,會更有效果。
吳恩達機器學習筆記 —— 5 多變數線性迴歸
通過x構造新的特徵替換高維特徵
吳恩達機器學習筆記 —— 5 多變數線性迴歸
如果不希望房子的價格出現下降,可以構造平方根的特徵:
吳恩達機器學習筆記 —— 5 多變數線性迴歸
基於正規方程解
吳恩達機器學習筆記 —— 5 多變數線性迴歸

吳恩達機器學習筆記 —— 5 多變數線性迴歸
基於梯度下降和正規方程的區別
吳恩達機器學習筆記 —— 5 多變數線性迴歸
如果特徵之間共線,會導致矩陣不可逆
吳恩達機器學習筆記 —— 5 多變數線性迴歸

相關文章