【機器學習】【邏輯迴歸】代價函式為什麼用最大似然估計而不是最小二乘法？

版權宣告：本文為博主原創文章，未經博主允許不得轉載，轉載請註明文章來源，聯絡方式：vipsummer@139.com https://blog.csdn.net/u012421852/article/details/79620810
為了搞清楚為什麼，就要先搞清楚，邏輯迴歸的對數似然函式和最小二乘法函式分別是什麼。

邏輯迴歸的對數似然函式公式

邏輯迴歸的最小二乘法的代價函式公式
可以證明邏輯迴歸的最小二乘法的代價函式不是關於分佈引數θ的凸函式，求解過程中，會得到區域性最優，不容易求解全域性最優θ。邏輯迴歸的最小二乘法的代價函式如下所示：

答1：證明LR的對數似然函式是凸函式
關於邏輯迴歸的對數似然函式的基本概念和詳細求解流程可以會看以前部落格：對數似然函式

可以證明邏輯迴歸的對數似然函式是關於θ的凸函式，且有最大值。證明過程詳細如下所示：

答2：由邏輯迴歸是一種分類演算法決定
       因為邏輯迴歸不是一種迴歸，而是一種分類演算法。而邏輯迴歸的假設函式是屬於指數分佈族，且邏輯迴歸的樣本給予滿足伯努利分佈而進行訓練的。最大似然估計的出發點就是使得當前樣本發生的可能性最大化，反向支援邏輯迴歸樣本滿足伯努利分佈。而最小二乘法只是讓預測值和觀測值更擬合，而最大似然估計是保證計算出的特徵值發生的概率正確率最大化，最大似然更滿足邏輯迴歸是一種分類器。

(end)
--------------------- 
作者：CV_ML_DP 
來源：CSDN 
原文：https://blog.csdn.net/u012421852/article/details/79620810 
版權宣告：本文為博主原創文章，轉載請附上博文連結！