最小二乘與梯度下降

一個人的場域發表於2017-01-20
梯度

http://blog.csdn.net/guang09080908/article/details/41415193 說：

最小二乘和極大似然是目標函式，梯度下降是優化演算法。

機器學習的核心是一個model，一個loss fuction，再加上一個優化的演算法。一個目標函式可以用不同的優化演算法，不同的目標函式也可以用相同的優化演算法。所以最小二乘和極大似然根本不是演算法，和梯度下降毫無可比性。

最小二乘法是求誤差的平方和最小的方法，ml中可以用來建立cost function，最小二乘法可以由極大似然推倒出； 而梯度下降是求目標函式（目標函式可以是cost function）極值的迭代方法; 最小二乘法給出的cost function 可以使用矩陣求解（就是使用數學方法求最小值點）或者迭代法（如梯度下降法）就極值點。


相關文章