Logistic regression 為什麼用 sigmoid ？

假設我們有一個線性分類器：

我們要求得合適的 W ，使 0-1 loss 的期望值最小，即下面這個期望最小：

一對 x y 的 0-1 loss 為：

在資料集上的 0-1 loss 期望值為：

由 鏈式法則 將概率p變換如下：

為了最小化 R（h），只需要對每個 x 最小化它的 conditional risk：

由 0-1 loss 的定義，當 h（x）不等於 c 時，loss 為 1，否則為 0，所以上面變為：

又因為

所以：

為了使 條件風險 最小，就需要 p 最大，也就是需要 h 為：

上面的問題等價於 找到 c＊，使右面的部分成立：

取 log ：

在二分類問題中，上面則為：

即，我們得到了 log-odds ratio ！

接下來就是對 log-odds ratio 進行建模，最簡單的就是想到線性模型：

則：

於是得到 sigmoid 函式：

由此可見，log-odds 是個很自然的選擇，sigmoid 是對 log-odds 的線性建模。

學習資料：
https://onionesquereality.wordpress.com/2016/05/18/where-does-the-sigmoid-in-logistic-regression-come-from/
https://stats.stackexchange.com/questions/162988/why-sigmoid-function-instead-of-anything-else