本篇主要講的是多變數的線性迴歸,從表示式的構建到矩陣的表示方法,再到損失函式和梯度下降求解方法,再到特徵的縮放標準化,梯度下降的自動收斂和學習率調整,特徵的常用構造方法、多維融合、高次項、平方根,最後基於正規方程的求解。
更多內容參考 機器學習&深度學習
在平時遇到的一些問題,更多的是多特徵的
多變數的表示方法
多元線性迴歸中的損失函式和梯度求解
有時候特徵各個維度是不同規模的,比如房間的平米數和房間數,兩個數量級相差很大。如果不叢任何處理,可能導致梯度優化時的震盪。
一般如果特徵時在可接受的範圍內,是不需要做特徵縮放的。如果很大或者很小,就需要考慮進行特徵的縮放了。
標準化,即
自動收斂測試:如果梯度在優化後變化很小,比如10^-3,那麼就認為梯度優化已經收斂。
如果發現誤差在不斷的增加或者不斷的抖動,那麼應該減小學習率,這一版都是由於學習率過大導致的震盪。但是如果學習率設定的很小,收斂的速度又會很慢。一般都是採用不同的學習率來測試,比如0.001, 0.01, 0.1, 1 ....
有的時候我們選擇的特徵,並不是直接使用資料,而是通過資料擬合出新的特徵。比如我們有房子的長寬,但是使用特徵的時候,可以構造出一個面積特徵,會更有效果。
通過x構造新的特徵替換高維特徵
如果不希望房子的價格出現下降,可以構造平方根的特徵:
基於正規方程解
基於梯度下降和正規方程的區別
如果特徵之間共線,會導致矩陣不可逆