03 迴歸演算法 - 線性迴歸求解 θ（最小二乘求解）

weixin_33890499發表於2018-10-06
演算法

回顧線性迴歸的公式：θ是係數，X是特徵，h(x) 是預測值。
h(x) = θ0 + θ1x1 + θ2x2 + … + θnxn
h(x) = Σ θixi（ i=0~n ）
h(x) = θTX = [θ1,θ2,θ3,…,θn] * [x1,x2,x3,…,xn]T
最終要求是計算出θ的值，並選擇最優的θ值構成演算法公式，使預測值能夠儘可能接近真實值。

求解線性迴歸的思路

線性迴歸主要用到兩種方法：最大似然估計、最小二乘法。兩種思路截然不同，但最終得到的結果是一致的。

1、02 迴歸演算法 - 線性迴歸求解 θ（最大似然估計求解）
2、最小二乘求解

損失函式：

3153092-4887725038356071.png
最小二乘
在公式中，x和y都是已知的。現在未知的是θ。
3153092-a2aca8e97e6084f8.png
轉為矩陣
3153092-a4a2c81ab120908f.png
θ求解的推導過程
下面給出一個例子，房屋面積和房間數量是樣本X，租賃價格是實際值Y，我們需要求出θ：
3153092-5e9432728b2fc0da.png
例子

θ=(XTX)-1XTY

在求解的過程中，矩陣的逆是求解的難點。

相關文章