第二週【任務2】貝葉斯估計，估計、偏差和方差，邏輯迴歸

任務名稱：貝葉斯估計，估計、偏差和方差，邏輯迴歸

任務簡介：學習花書5.5-5.7.1章，觀看講解視訊(1.估計、偏差和方差 2.貝葉斯估計 3.邏輯迴歸)

任務詳解：

1. 貝葉斯公式，另外一種引數估計方法貝葉斯估計，以及應用

2. 邏輯迴歸做二分類

打卡要求：（不少於20字，不少於2張圖片）

a. 掌握貝葉斯公式，理解貝葉斯估計，完成浙大概率論p19例7（需打卡提交截圖）

b. 說出貝葉斯估計與極大似然估計的最本質的不同點，以及各自的優缺點（需提交文字）

c. 獨立手推邏輯迴歸（需提交截圖）

1. 掌握貝葉斯公式，理解貝葉斯估計，完成浙大概率論p19例7（需打卡提交截圖）

題目：對以往資料分析結果表明，當機器調整良好時，產品的合格率為98%,而當機器發生故障時，其合格率為55%。每天早上機器開動時，機器調整良好的概率為95%。試求已知某日早上第一件產品是合格品時，機器調整良好的概率是多少？

設“產品合格”為事件A，“機器調整良好”為事件B，因此所求事件的概率為:
$$P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A\mid B)P(B)+P(A\mid \bar{B})P(\bar{B})}=\frac{0.98\times 0.95}{0.98\times 0.95+0.55\times 0.05}=0.97216$$
這裡的概率$P(B)$是根據以往的資料分析得到的，因此叫做先驗概率，而在得到資訊（第一件產品是合格品）之後再重新加以修正的概率$P(B\mid A)$就叫後驗概率。

【從本質上說，貝葉斯公式就是由果推因，from result to reason 】

2. 說出貝葉斯估計與極大似然估計的最本質的不同點，以及各自的優缺點

貝葉斯估計和極大似然估計是統計中兩種對模型的引數確定的方法，前者來自貝葉斯學派，後者來自概率主義學派。

概率注意學派認為引數雖然未知，但是確實客觀存在的固定值，可以通過優化似然函式等準則來確定引數值，也就是使似然函式最大的引數$\theta$就是最好的$\theta$。 因此先把各個樣本的概率綜合再求導。

數學表達為：
$$\underset{\theta }{\mathrm{argmax}}P(X\mid \theta )$$
因此任務就是利用訓練集$D$估計引數$\theta$，直接建模。這也就是判別式模型。

貝葉斯學派認為引數是未觀察到的隨機變數，其本身也有分佈，因此可假定引數服從一個先驗分佈$P(\theta )$，然後基於觀測到的資料來計算引數的後驗分佈。因此認為使$P(\mathbf{X}\mid \theta )P(\theta )$取最大值的$\theta$就是最好的$\theta$。

數學表達為：
$$\underset{\theta }{\mathrm{argmax}}P(\theta \mid X)=\underset{\theta }{\mathrm{argmax}}P(X\mid \theta )P(\theta )$$
這樣得到的就是生成式模型。

貝葉斯估計的缺點：類條件概率$P(X\mid \theta )$是所有屬性上的聯合概率，難以從有限的訓練集中直接估計而得。假設樣本的d個屬性都是二值的，則樣本空間將有$2^d$種可能的取值，在現實應用中，這個值往往遠大於訓練樣本數。

極大似然估計的缺點：估計結果的準確性嚴重依賴於所假設的概率分佈形勢是否符合潛在的真是資料分佈。在實際應用中，欲做出能較好的接近潛在真實分佈的假設，往往需要在一定程度上利用關於應用任務本身的經驗知識。

3. 獨立手推邏輯迴歸

指數族分佈是一類分佈的總稱，該類分佈的分佈律（概率密度函式）的一般形式如下：
$$\begin{gathered} p(y;\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta )) \\ =b(y)\exp [\eta (\theta )\cdot T(y)-A(\theta )] \\ =b(y)\exp (\mathbf{\eta }(\mathbf{\theta })\cdot \mathbf{T}(y)-A(\mathbf{\theta })) \\ =b(\mathbf{y})\exp (\mathbf{\eta }(\mathbf{\theta })\cdot \mathbf{T}(\mathbf{y})-A(\mathbf{\theta })) \end{gathered}$$
其中， $\eta$稱為該分佈的自然引數;$T(y)$為充分統計量，視具體的分佈情況而定， 通常是等於隨機變數y本身；$a(y)$是配分函式；$b(y)$是關於隨機變數$y$的函式。常見的伯努利分佈和正態分佈均屬於指數族分佈。【$\eta$的T不是充分統計量的T，是向量轉置的意思】上面不同行對應$\theta$和$y$分別是向量和標量的情況。

首先證明伯努利分佈屬於指數族分佈。

伯努利分佈
$$p(y)={\varphi }^y(1-\varphi {)}^{1-y}$$
其中 y ∈ { 0 , 1 } y \in\{0,1\} y∈{0,1}, $p(y=1)=\varphi$.對上式做恆等變形：
$$\begin{array}{rl}p(y)& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp \left(\ln \left({\varphi }^y(1-\varphi {)}^{1-y}\right)\right)\\ & =\exp \left(\ln {\varphi }^y+\ln (1-\varphi {)}^{1-y}\right)\\ & =\exp (y\ln \varphi +(1-y)\ln (1-\varphi ))\\ & =\exp (y\ln \varphi +\ln (1-\varphi )-y\ln (1-\varphi ))\\ & =\exp (y(\ln \varphi -\ln (1-\varphi ))+\ln (1-\varphi ))\\ & =\exp \left(y\ln \left(\frac{\varphi }{1-\varphi }\right)+\ln (1-\varphi )\right)\end{array}$$
對比指數族分佈的一般形式，我們有
$$\begin{array}{rl}b(y)& =1\\ \eta & =\ln \left(\frac{\varphi }{1-\varphi }\right)\\ T(y)& =y\\ a(\eta )& =-\ln (1-\varphi )=\ln \left(1+e^{\eta }\right)\end{array}$$
第二步，我麼先給廣義線性模型提出三條假設：

1. 在給定$x$的條件下，假設隨機變數$y$服從某個指數族分佈
2. 在給定$x$的條件下，我們的目標是得到一個模型$h(x)$能預測出$T(y)$的期望值。
3. 假設該指數族分佈的自然引數$\eta$和$x$呈線性關係，即$\eta =w^{T}x$

因為對數機率迴歸是在對一個二分類問題進行建模，並且假設被建模的隨機變數取值為0或者1，我們可以假設$y$服從伯努利分佈。因此如果要構建一個線性模型來預測在給定$x$的條件下$y$的取值的話，可以考慮使用廣義線性模型來進行建模。

第三步，構建對數機率迴歸。已知$y$服從伯努利分佈，而伯努利分佈屬於指數族分佈，所以滿足廣義線性模型的第一條假設，接著根據第二條假設我們可以推得模型$h(x)$的表示式為
$$h(\mathbf{x})=E[T(y\mid \mathbf{x})]$$
由於伯努利分佈的$T(y\mid \mathbf{x})=y\mid \mathbf{x}$,所以：
$$h(\mathbf{x})=E[y\mid \mathbf{x}]=1\times p(y=1\mid x)+0\times p(y=0\mid x)=p(y=1\mid x)=\varphi$$
所以:
$$h(\mathbf{x})=\varphi$$
在第一步中我們有:
$$\begin{array}{l}\eta =\ln \left(\frac{\varphi }{1-\varphi }\right)\\ e^{\eta }=\frac{\varphi }{1-\varphi }\\ e^{-\eta }=\frac{1-\varphi }{\varphi }\\ e^{-\eta }=\frac{1}{\varphi }-1\\ 1+e^{-\eta }=\frac{1}{\varphi }\\ \frac{1}{1+e^{\eta }}=\varphi \end{array}$$
所以我們有:
$$h(\mathbf{x})=\varphi =\frac{1}{1+e^{-\eta }}$$
根據第三條假設$\eta ={\mathbf{w}}^T\mathbf{x}$，最終有
$$h(\mathbf{x})=\varphi =\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}=p(y=1\mid \mathbf{x})$$
此即為對數機率迴歸模型