一. 引數估計

引數估計(parameter estimation). 正如第一章模型的介紹中所提到的，一般當我們手上有了一大把相關的資料，我們想做預測，我們要做兩件事情，第一件事情是選取適合的模型，例如多項式模型，神經網路模型，樹模型，等等這種泛化模型(以一擋百的模型)，這部分內容暫且按下不表.在資料分析模型這課中，著重關注第二件事情，引數估計，即相關模型給定的情況下對於模型的引數估計.小弟認為，引數估計可以分為兩大派別：
第一派別：利用給定的資料來估計引數。在這派別裡的方法可謂百花齊放,例如多均值估計利用詹姆斯斯丁估計(James-stein estimation)(收縮估計). 在詹姆斯丁估計的基礎上又有林德利改變估計(Lindely modification). 具有懲罰性的嶺迴歸估計(Ridge regression)和拉索迴歸估計(Lasso regression)(稀疏估計)等等.
第二派別:基於給定的資料，利用概率來估計引數，例如最大似然估計和貝葉斯估計(先驗和後驗)
在資料分析模型這門課，只涉及一些很基礎的引數估計方法，小弟在前面講的這麼多，只是希望大家在看引數估計的知識之前有一個大體的概念，在資料分析模型這課裡並不需要過多瞭解。
但無論是什麼派別，對於引數的估計自然都會相關與資料的函式公式.
舉個例子
如果資料$y_1,y_2,....y_n$服從一個分佈$p(y|\theta )$，如果我們要估計$\theta$,那麼我們估計的$\bar{\theta }=f(y_1,y_2,...,y_n)$.

最小二乘法(Least Square)
最小二乘法屬於第一派別，估計的引數是等於你的資料組成的一種數學函式表示式。最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和，來尋找資料的最佳函式匹配.

線性模型和最小二乘法的引數估計(linear model &least square)
線性模型:
給定一個輸入變數X=(X1,X2,…,Xn),預測輸出$\bar{Y}$.
$$\bar{Y}=\overline{{\beta }_0}+\sum _{j=1}^n{X}_j\overline{{\beta }_j}$$
這是一個多元線性模型，它是由多個一元線性模型相加而成的，即:
$$\bar{Y}=\overline{{\beta }_0}+\sum _{j=1}^n{X}_j\overline{{\beta }_j}=\sum _{i=1}^n\overline{y_i}=\{\begin{array}{l}\overline{y_1}={\bar{\beta }}_{1}X1+{\xi }_1\\ \overline{y_2}={\bar{\beta }}_{2}X2+{\xi }_2\\ \overline{y_3}={\bar{\beta }}_{3}X3+{\xi }_3\\ .................\\ \overline{y_n}={\bar{\beta }}_{n}Xn+{\xi }_n\end{array},\sum _{i=1}^n{\xi }_i={\bar{\beta }}_0$$
那麼我們利用最小二乘法，找真值和預測值的最小誤差的平方和，從而估計引數,即:
$y_i$為真值
$$RSS({\bar{\beta }}_0,{\bar{\beta }}_1,{\bar{\beta }}_2,....{\bar{\beta }}_n)=\sum _{i=1}^N(y_i-({\beta }_0+\sum _{j=1}^n{X}_j{\bar{\beta }}_j){)}^2$$
如果我們當然希望預測值和真值越像越好，那麼這個RSS(·)的值需要儘可能的小.這裡提個題外話RSS的英語是root-sum-square即平方公差法。
如果我們要估計$\overline{{\beta }_0}$,我們需要找到$\overline{{\beta }_0}$其滿足RSS(·)為最小值,那麼利用
求偏導的方式得出$\overline{{\beta }_0}$，即:
$$\frac{dRSS(\cdot )}{d\overline{{\beta }_0}}=0$$
如果我們要估計$\overline{{\beta }_n}$,則:
$$\frac{dRSS(\cdot )}{d\overline{{\beta }_n}}=0$$
它的想法是找到一個斜率為0的RSS(·)值，我們一般預設斜率為0的RSS(·)值為最低值也就是說有且僅有一個下弧線. 對沒錯，這個預設實在是太苛刻了，但我們不需要思考太多，因為這個問題很大，涉及了凸面問題和非凸面問題，區域性最小值，全域性最小值，以及如何最快找到最低值的問題例如深度學習裡的梯度下降,涅斯捷羅夫衝量等等。也不是這門課單單這麼要求的，只要利用最小二乘法來估計引數，均預設斜率為0處的RSS(·)值為最低值.
一般我們會把上述所有公式寫成矩陣的形式，有利於程式碼的書寫，也很簡潔漂亮.
線性模型的矩陣寫法:
$$\bar{Y}=X^T\bar{\beta }$$
$X=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ ...\\ x_n\end{array}\right]$ $X^T$為$X$的逆矩陣即$\left[\begin{array}{c}{x}_1,x_2...,x_n\end{array}\right]$$，\bar{\beta }=\left[\begin{array}{c}\overline{{\beta }_0}\\ \overline{{\beta }_0}\\ ...\\ \overline{{\beta }_n}\end{array}\right]$,我們會把截距$\overline{{\beta }_0}$放入$\bar{\beta }$列矩陣中. 那麼我們的$X^T=\left[\begin{array}{c}1,x_1,x_2,...,x_n\end{array}\right],\bar{Y}=[\overline{{\beta }_0}+x_1{\bar{\beta }}_1+x_2{\bar{\beta }}_2+...+x_n{\bar{\beta }}_n]$.
那麼利用最小二乘法,找真值和預測值的最小誤差的平方和, 我們的RSS(·)為:
$RSS(\bar{\beta })=(Y-X\bar{\beta }{)}^T(Y-X\bar{\beta })$
同樣計算$\bar{\beta }$的偏導，即:$\frac{dRSS(\bar{\beta })}{d\bar{\beta }}=2X^T(Y-X\bar{\beta })=0$
那麼化簡$X^T(Y-X\bar{\beta })=0\to X^{T}Y-X^{T}X\bar{\beta }=0\to X^{T}Y-I\bar{\beta }=0\to \bar{\beta }=I^{-1}XY\to \bar{\beta }=(X^{T}X{)}^{-1}XY$
這裡的$I$為單位矩陣.所以在寫R或者python程式碼的時候，我們就寫一個$\bar{\beta }=(X^{T}X{)}^{-1}XY$，就可以直接估計出所有的引數了($\bar{\beta }$矩陣的形式).

正態分佈和最小二乘法(normal distribution &least square)
假設這裡有一組班級身高的樣本$y=(1.75,1.64,1.81,1.55,1.51,1.67,1.83,1.63,1.83,1.63,1.72)$單位米，這組身高我們認為符合正態分佈，估計正態分佈的倆個引數$\mu ,{\sigma }^2$.
那麼利用最小二乘法的定義找最小化誤差的平方和,既然這組樣本身高符合正態分佈，那麼我們希望的我們均值身高$\mu$要跟這些樣本身高的距離要足夠的近。
$\bar{\mu }=\underset{\mu }{\mathrm{argmin}}SSE(\mu )=\underset{\mu }{\mathrm{argmin}}{\sum }_{i=1}^n(y_i-\mu {)}^2$
同樣，我們還是求$\mu$導數，找斜率為0，預設斜率為0，SSE(·)的值為最低.SSE是sum squared error平方誤差和的英語縮寫.
$$\frac{dSSE(\mu )}{d\mu }=\sum _{i=1}^n\frac{d(y_i-\mu {)}^2}{d\mu }=-2\sum _{i=1}^n(y_i-\mu )=-2\sum _{i=1}^n{y}_i+2n\mu =0$$
即$\bar{\mu }=\frac{1}{n}{\sum }_{i=1}^n{y}_i$,這也叫做樣本均值(sample mean).

接下來我們估計${\sigma }^2$,這個就容易多了，利用方差的定義即可:
$${\bar{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(y_i-\bar{\mu }{)}^2$$
那麼$\bar{\sigma }=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(y_i-\bar{\mu }{)}^2}$,這就是樣本標準差(sample standard deviation).

最大似然估計(Maximum Likelihood estimation)
最大似然估計由1920年的費雪提出的，被廣泛應用在很多概率分佈模型的估計引數上面，記住費雪這個大哥我們之後還會學習他的很多理論，例如費雪資訊等。正如小弟之前所提到的，最大似然估計是第二個派別利用概率的角度來估計模型的引數.
假如你有n個y即$y_1,y_2,...,y_n$符合某個概率分佈$p(y|\theta )$,那麼你有n個對應的概率即$p(y_1|\theta ),p(y_2|\theta ),...,p(y_n|\theta )$,現在我們要估計引數$\theta$的值利用這些資料.因為這些點即n個y都是獨立的，每個點都有對應的概率，那麼我們希望這些點能夠產生用於這個引數$\theta$的分佈的概率要最大.於是我們將這些點的概率乘起來得到這個引數$\theta$的分佈的產生概率即:
$$p(y|\theta )={\Pi }_{i=1}^{n}p(y_i|\theta )$$
$\Pi$是連乘.
那麼我希望這個$p(y|\theta )$分佈的產生概率要最大即:
θ ˉ = arg max ⁡ θ { p ( y ∣ θ ) } \bar\theta=\argmax_\theta \{p(y|\theta)\} θˉ=θargmax​{p(y∣θ)}
$p(y|\theta )$也被稱為似然方程(likelihood function)。解上述這個公式跟最小二乘法一樣，依舊是對$p(y|\theta )$求$\theta$導數，斜率為0，但預設為最大值也就是說有且僅有一個上弧線.但是在一般我們會面對奇形怪狀的各種概率分佈，為了計算方便我們會在前面加 “-log”,這個log很精髓，它不僅把帶有指數的概率分佈的指數取了下來方便運算，並且log還是單調函式不影響我們$p(y|\theta )$的函式影像,那麼變為找最小值，斜率為0，有且僅有一條下弧線.，那麼我們的公式變為:
θ ˉ = arg min ⁡ θ { − l o g p ( y ∣ θ ) } \bar\theta=\argmin_\theta \{-logp(y|\theta)\} θˉ=θargmin​{−logp(y∣θ)}

這個$-logp(y|\theta )$被稱為負log似然(negative log-likelihood)
有時候我們經常用$L(y|\theta )$來代表$-logp(y|\theta )$負log似然。
有時候我們也會用$logp(y|\theta )$來代替不一定要加負號，負號僅僅為了方便運算.

似然估計正態分佈(ML estimation of normal distribution)
給了$y=(y_1,....,y_n)$，符合正態分佈，估計$\mu ,\sigma$
那麼該似然方程為:
$$p(y|\mu ,{\sigma }^2)={\Pi }_{i=1}^{n}p(y_i|\theta )=(\frac{1}{2\pi {\sigma }^2}{)}^{2}exp(-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(\mu -y_i{)}^2)$$
那麼負log似然為:
$$L(y|\mu ,{\sigma }^2)=-logp(y|\mu ,{\sigma }^2)=\frac{n}{2}log(2\pi {\sigma }^2)+\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-\mu {)}^2$$

求偏導:
$\frac{\partial L(y|\mu ,{\sigma }^2)}{\partial \mu }=0$
$\frac{\partial L(y|\mu ,{\sigma }^2)}{\partial \sigma }=0$

估計$\bar{\mu }$:
$\frac{\partial L(y|\mu ,{\sigma }^2)}{\partial \mu }=-\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(y_i-\mu )=-\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{y}_i+\frac{n\mu }{{\sigma }^2}=0$

得:
$\bar{\mu }=\frac{1}{n}{\sum }_{i=1}^n{y}_i$樣本均值

估計$\bar{\sigma }$:
$\frac{\partial L(y|\mu ,{\sigma }^2)}{\partial \sigma }=\frac{n}{\sigma }-\frac{1}{{\sigma }^3}{\sum }_{i=1}^n(y_i-\mu {)}^2=0$

得：
${\sigma }^2=\frac{1}{n}{\sum }_{i=1}^n(y-\mu {)}^2$
將我們之前估計的$\bar{\mu }$帶入$\mu$中即:
${\sigma }^2=\frac{1}{n}{\sum }_{i=1}^n(y-\bar{\mu }{)}^2$,那麼 $\bar{\sigma }=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(y_i-\bar{\mu }{)}^2}$樣本標準差

假設這裡有一組班級身高的樣本$y=(1.75,1.64,1.81,1.55,1.51,1.67,1.83,1.63,1.83,1.63,1.72)$單位米，符合正態分佈，那麼樣本均值為$\bar{\mu }=1.6789$,樣本標準差為$\bar{\sigma }=\sqrt{\frac{1}{9}{\sum }_{i=1}^9(y_i-1.6789{)}^2}=0.1032$
影像為:

我們可以清楚看見我們的資料樣本$y=(1.75,1.64,1.81,1.55,1.51,1.67,1.83,1.63,1.83,1.63,1.72)$大致分佈在$(\bar{\mu }-2\bar{\sigma },\bar{\mu }+2\bar{\sigma })\approx (1.47,1.88)$的正態分佈之間.
如果有問身高在總體裡1.6m到1.8m之間的概率是多少，那麼$P(1.6<X<1.8|\bar{\mu }=1.6789,{\bar{\sigma }}^2=0.1032^2)\approx 0.664$

似然估計泊松分佈(ML estimation of Poisson)
除了連續函式，我們也可以用似然估計離散函式，泊松分佈的引數$\lambda$

負log似然:
$L(y|\lambda )=-{\sum }_{i=1}^n{y}_{i}log\lambda +n\lambda +{\sum }_{i=1}^{n}log{y}_i!$
求導:
$\frac{dL(y|lambda)}{d\lambda }=-\frac{1}{\lambda }{\sum }_{i=1}^n{y}_i=0$
得：
$\bar{\lambda }=\frac{1}{n}{\sum }_{i=1}^n{y}_i$

似然估計伯努利分佈(ML estimation of Poisson)
log似然:
$L(x_1,x_2,...x_n|\theta )={\sum }_{i=1}^n{x}_{i}log\theta +(n-{\sum }_{i=1}^n{x}_i)log(1-\theta )$
求導:
$\frac{dL(x_1,x_2,...x_n|\theta )}{d\theta }=\frac{{\sum }_{i=1}^n{x}_i}{\theta }-\frac{(n-{\sum }_{i=1}^n{x}_i)}{1-\theta }$
得：
$\bar{\theta }=\frac{{\sum }_{i=1}^n{x}_i}{n}$，${\sum }_{i=1}^n{x}_i$為一共成功得次數，n為總共嘗試的次數.

二. 偏差和評測估計

評測估計(evaluating estimators)不是一種估計的方法，而是比較不同的估計方法，從而抉擇用哪個估計方法.
2.1 取樣統計(sampling statistics)
很明顯，我們有很多的引數的估計方法，那麼，我們如何比較不同引數估計呢，舉個例子,${\bar{\sigma }}_1^2=(\frac{1}{n-1}){\sum }_{i=1}^n(y_i-\bar{\mu }{)}^2$和${\bar{\sigma }}_2^2=(\frac{1}{n}){\sum }_{i=1}^n(y_i-\bar{\mu }{)}^2$那個對於方差的估計，${\bar{\sigma }}_1^2$和${\bar{\sigma }}_2^2$哪個估計更好點呢。比較不同的估計，我們經常會比較它們內在的性質，但這些性質經常涉及取樣統計中的一些概念。換句話說，反覆從總體抽樣的樣本中，進而比較這些估計的表現情況，從而選取較好的引數估計.
$$總體(population){\to }_{取樣}\to 樣本(sample){\to }_{估計參數}\to 模型(正態分布，泊鬆...)$$
樣本均值分佈(sample mean distribution)
假如我們這裡有一個總體很大的人群身高單位米,總體的人群身高服從正態分佈N($\mu$=1.65,${\sigma }^2$=0.1)，我們現在隨機抽取樣本一組有5個即y=(1.620,1.652,1.623,1.475,1.621)利用我們的似然估計我們知道$\bar{\mu }$=$\bar{y}$=$\frac{1}{5}{\sum }_{i=1}^5{y}_i$=1.598 樣本均值.接下來我們多取幾組,每組樣本有5個資料樣本.

第一組/第一組樣本: $y^1=(1.620,1.652,1.623,1.475,1.621)\to {\bar{\mu }}_1={\bar{y}}_1=1.598$
第二組: $y^2=(1.729,1.517,1.417,1.505,1.683)\to {\bar{\mu }}_2={\bar{y}}_2=1.570$
第三組: $y^3=(1.689,1.695,1.637,1.668,1.602)\to {\bar{\mu }}_3={\bar{y}}_3=1.658$
第四組: $y^4=(1.736,1.513,1.695,1.565,1.616)\to {\bar{\mu }}_4={\bar{y}}_4=1.625$
第五組: $y^5=(1.705,1.753,1.538,1.776,1.716)\to {\bar{\mu }}_5={\bar{y}}_5=1.697$
…
…
當然了，利用似然估計，每組都會有不同的樣本均值.接下來我們畫圖，x軸為樣本均值(sample mean)，y軸為各個樣本均值出現的頻率(frequency)即出現的概率，如下圖
這裡有1,000,000組樣本，每組5個，該圖即為樣本分佈。圖中的樣本分佈的均值恰巧等於身高總體的正態分佈均值=1.65(X軸為1.65處,正態分佈以$\mu$對稱).
正如小弟之前所說，對於引數的估計其實是等於相關資料的一個函式公式.我們利用似然估計的$\bar{\mu }=\bar{Y}=\frac{1}{n}{\sum }_{i=1}^n{Y}_i$中每個$Y_i$都服從總體的正態分佈N($\mu$=1.65,${\sigma }^2$=0.1).

再利用第二章所講的正態分佈具有的幾個性質:
1.如果$Y_1～N({\mu }_1,{\sigma }_1^2)$,$Y_2～N({\mu }_2,{\sigma }_2^2)$→$Y_1+Y_2～N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

2.如果$Y～N(\mu ,{\sigma }^2)$→$\frac{Y}{n}～N(\frac{\mu }{n},(\frac{\sigma }{n}{)}^2)$ 切記是針對引數進行改變，而不是$\frac{{\sigma }^2}{n}$,推導也很簡單，$V[\frac{Y}{n}]=(\frac{1}{n}{)}^{2}V[Y]=(\frac{\sigma }{n}{)}^2$.

那麼，在我們該樣本分佈中，利用似然估計得到的均值$\bar{\mu }=\bar{Y}～N(\mu ,\frac{{\sigma }^2}{n})$ ,那麼我們知道$E[\bar{\mu }]=\mu =1.65$,恰巧1.65等於身高總體的正態分佈均值, 所以說利用最小二乘法或者似然估計正態分佈的均值是準確無誤的.
另外我們也可以利用標準正態分佈來畫出該樣本均值分佈，因為標準正態隨機變數為$\frac{\bar{Y}-\mu }{\sigma /\sqrt{n}}～N(0,1)$第二章的內容.

到這裡大家應該明白取樣統計中的樣本分佈是極其重要的，它經常用在:
1.置信區間(confidence intervals)
2.假設檢驗(hypothesis testing)
3.評測估計或者比較估計(evaluate estimators)
1和2後續會講，在這一章中我們著重看看第三點.

2.2評測估計(evaluating estimators)
我們一般會注意估計的這麼幾種性質從而比較不同的估計
1.偏差(bias):哪個更貼近真實的引數或者總體的引數
2.方差(variance):哪個估計的引數變化更大，哪個引數變化更小點.

估計的偏差(bias of estimator)
偏差就是指估計的引數和真實的引數差多少的意思,估計的偏差決定了你是否過飽和估計你的真實引數.這也將影響你是否過飽和(overestimates)預測。
如果$Y=(Y_1,Y_2,....,Y_n)$是我們的資料，$\bar{\theta }(Y)$是資料組成的函式為我們估計的引數.
那麼估計引數的偏差為:
$$b_{\theta }(\bar{\theta })=E[\bar{\theta }(Y)]-\theta$$
如果$b_{\theta }(\bar{\theta })$=0那麼這個引數估計為無偏差(unbiased)估計
舉個例子:
$Y=(Y_1,Y_2,...,Y_n),Y_i$為i.i.d獨立同分布，服從均值為$\mu$的正態分佈.
$$E[\bar{Y}]=E[\frac{Y_1+Y_2+....+Y_n}{n}]=\frac{E[Y_1]}{n}+\frac{E[Y_2]}{n}+\frac{E[Y_3]}{n}+...+\frac{E[Y_n]}{n}=\mu$$
那麼根據偏差公式$b_{\theta }(\bar{\theta })=E[\bar{\theta }(Y)]-\theta =\mu -\mu =0$
我們會發現原來樣本均值是無偏差估計，也就是說利用最小二乘法和似然估計的均值都是無偏差的。

估計的方差(variance of estimator)
關於$\bar{\theta }(Y)$的方差：
$$Va{r}_{\theta }(\bar{\theta })=E[(\bar{\theta }(Y)-E[\bar{\theta }(Y)]{)}^2]=V[\bar{\theta }(Y)]$$
從這個公式可以看出，估計量的方差等於$\bar{\theta }$的樣本分佈的方差
該方差越大意味著每次取出樣本進行估計的變化就越大.
舉個例子:
$Y=(Y_1,Y_2,...,Y_n),Y_i$為i.i.d獨立同分布，服從均值為$\mu$,方差為${\sigma }^2$的正態分佈.
我們來計算下樣本均值$\bar{Y}$的方差:
$V[\bar{Y}]=V[\frac{Y_1}{n}+\frac{Y_2}{n}+...+\frac{Y_n}{n}]=\frac{1}{n^2}(V[Y_1]+V[Y_2]+...+V[Y_n])=\frac{{\sigma }^2}{n}$
我們可以看出，$\frac{{\sigma }^2}{n}$就是我們最早計算的樣本分佈的方差即,$\bar{\theta }=\bar{Y}～N(\mu ,\frac{{\sigma }^2}{n})$，並且隨著n增大，樣本數增大，那麼樣本均值的估計會趨於穩定，變化較小.

估計的均方誤差(mean squared error,簡寫MSE)
我們一般比較不同的估計利用均方誤差來比較，均方誤差的值越大.
$$MS{E}_{\theta }(\bar{\theta })=E[(\bar{\theta }(Y)-\theta {)}^2]=(E[\bar{\theta }(Y)]-\theta {)}^2+E[(\bar{\theta }(Y)-E[\bar{\theta }(Y)]{)}^2]=b_{\theta }(\bar{\theta }{)}^2+Va{r}_{\theta }(\bar{\theta })$$
這裡有個說法的問題,比較不同的估計利用上述公式叫均方誤差(MSE)，我們也可以叫這個公式是平方誤差(squared error).在高等資料分析裡，這就是損失方程(loss function)或者風險方程(risk function)關於估計引數和真參的損失方程.
有的同學會說"我明白這公式幹什麼，不就是真參和估計引數的差值的期望也就是取均值嘛，無可厚非，但為什麼非得用平方差的形式，我們用絕對值不香麼." 沒錯，期望就是均值，就像小弟在最上面給樣本分佈圖一樣,只不過在該圖$\bar{\theta }(Y)$是樣本均值，把x軸變為$(\bar{\theta }(Y)-\theta {)}^2$然後在這個分佈下，取均值也就是期望.也就是多次取樣本，分別計算平方誤差，最後取均值罷了。但為什麼，數學家們由衷的喜歡用平方差呢，絕對值不行麼？
我們這次寫成損失方程的形式$L(\theta ,\bar{\theta })$，根據泰勒函式展開:
$L(\theta ,\bar{\theta })=L(\theta ,\bar{\theta })+(\theta -\bar{\theta })L^{\prime }(\theta ,\bar{\theta })+\frac{(\theta -\bar{\theta }{)}^2}{2}{L}^{\prime \prime }(\theta ,\bar{\theta })$
當$\theta \approx \bar{\theta }$時，$L^{\prime }(\theta ,\bar{\theta })$≈0，那麼$L(\theta ,\bar{\theta })\approx \frac{(\theta -\bar{\theta }{)}^2}{2}{L}^{\prime \prime }(\theta ,\bar{\theta })$
我們會發現，原來只要是損失函式多多少少長得很像平方差，因為有一項$(\theta -\bar{\theta }{)}^2$.

言歸正傳，估計的均方誤差$$MS{E}_{\theta }(\bar{\theta })=b_{\theta }(\bar{\theta }{)}^2+Va{r}_{\theta }(\bar{\theta })$$
我們依舊拿樣本均值來試試這個公式
那麼$S{E}_{\mu ,{\sigma }^2}(\bar{Y})=b_{\mu }^2(\bar{Y})+Va{r}_{\mu .{\sigma }^2}(\bar{Y})=0+\frac{{\sigma }^2}{n}=\frac{{\sigma }^2}{n}$
根據結果，我們得出這三點:
1.根據MSE，樣本均值$\bar{\mu }$為總體均值$\mu$
2. MSE會隨著${\sigma }^2$的增加而增加
3. MSE會隨著n的減少而減少.

現在我們來試試，比較兩個關於正態分佈方差的估計
${\bar{\sigma }}_{ML}^2=\frac{1}{n}{\sum }_{i=1}^n(y_i-\bar{y}{)}^2$ 這是利用似然估計的方差也就是樣本方差

${\bar{\sigma }}_u^2=\frac{1}{n-1}{\sum }_{i=1}^n(y_i-\bar{y}{)}^2$這是另外一個估計關於方差的.
$\bar{y}=\frac{1}{n}{\sum }_{i=1}^n{y}_i$是樣本均值,樣本均值無偏差，即樣本均值為總體均值$\mu$。

來一個個算，從偏差開始:
根據偏差公式 $b_{\theta }(\bar{\theta })=E[\bar{\theta }(Y)]-\theta$
計算${\bar{\sigma }}_{ML}^2$的偏差
$b_{{\sigma }^2}({\bar{\sigma }}_{ML}^2)=E[{\bar{\sigma }}_{ML}^2]-{\sigma }^2=E[\frac{1}{n}{\sum }_{i=1}^n(y_i-\bar{y}{)}^2]-{\sigma }^2=\frac{1}{n}E[{\sum }_{i=1}^n(y_i-\bar{y}{)}^2]-{\sigma }^2=\frac{1}{n}V[{\sum }_{i=1}^n(y_i-\bar{y})]+\frac{1}{n}E[(y_i-\bar{y}){]}^2-{\sigma }^2=\frac{1}{n}V[{\sum }_{i=1}^n(y_i-\bar{y})]+0-{\sigma }^2=\frac{1}{n}V[{\sum }_{i=1}^n{y}_i]-\frac{1}{n}(nV[\bar{y}])-{\sigma }^2=({\sigma }^2-\frac{1}{n}{\sigma }^2)-{\sigma }^2=-\frac{1}{n}{\sigma }^2$, 這裡的推導用到了$V[X]=E[X^2]-E[X{]}^2$和我們之前講到的$\bar{\mu }=\bar{Y}～N(\mu ,\frac{{\sigma }^2}{n})$

計算${\bar{\sigma }}_u^2$的偏差
${\bar{\sigma }}_u^2=\frac{1}{n-1}{\sum }_{i=1}^n(y_i-\bar{y}{)}^2=\frac{n}{n-1}{\bar{\sigma }}_{ML}^2$
那麼
$b_{{\sigma }^2}({\bar{\sigma }}_u^2)=E[{\bar{\sigma }}_u^2]-{\sigma }^2=\frac{n}{n-1}E[{\bar{\sigma }}_{ML}^2]-{\sigma }^2={\sigma }^2-{\sigma }^2=0$這個估計竟然是無偏估計，沒錯${\bar{\sigma }}_u^2$這就是總體方差估計(population variance estimator).這其實也是${\bar{\sigma }}_u^2$總體方差估計的推導過程。上述方法利用無偏性來推出總體方差的估計。但是在上學期間，小弟的老師主要用另外一個角度來介紹總體方差的由來的。該方法涉及了卡方分佈和自由度。小弟我在此帶大家重溫一下這兩個概念。
1.自由度(degrees of freedom)，自由度df=n-k,其中n為樣本數量，k為被限制的條件數或變數個數,自由度常用在抽樣分佈中.
2.卡方分佈(chi-square),卡方分佈是由k個獨立標準正態隨機變數的和所構成的分佈，如果$X_1,X_2,...X_k$是獨立的標準正態隨機變數，那麼這k個變數的平方和就是k個自由度的卡方分佈
$Q={\sum }_{i=1}^k{X}_i^2,Q～{\chi }^2(k)$這引數k就是自由度
證明總體方差:
${\sum }_{i=1}^n(y_i-\bar{y}{)}^2={\sum }_{i=1}^n(y_i-\mu {)}^2-n(\bar{y}-\mu {)}^2$
等式兩邊同除${\sigma }^2$
得:
$\frac{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}{{\sigma }^2}=\frac{{\sum }_{i=1}^n(y_i-\mu {)}^2}{{\sigma }^2}-\frac{n(\bar{y}-\mu {)}^2}{{\sigma }^2}$
整理下該公式得:
$\frac{{\sum }_{i=1}^n(y_i-\mu {)}^2}{{\sigma }^2}=\frac{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}{{\sigma }^2}+\frac{n(\bar{y}-\mu {)}^2}{{\sigma }^2}$
$(\frac{{\sum }_{i=1}^n(y_i-\mu )}{\sigma }{)}^2=(\frac{{\sum }_{i=1}^n(y_i-\bar{y})}{\sigma }{)}^2+(\frac{\sqrt{n}(\bar{y}-\mu )}{\sigma }{)}^2$，根據k方分佈，我們知道等式左邊$(\frac{{\sum }_{i=1}^n(y_i-\mu )}{\sigma }{)}^2$有n個自由度即有n個標準正態隨機變數，等式右邊的$(\frac{\sqrt{n}(\bar{y}-\mu )}{\sigma }{)}^2$有1個自由度即1個標準正態隨機變數，那麼等式右邊的$(\frac{{\sum }_{i=1}^n(y_i-\bar{y})}{\sigma }{)}^2$有n-1個自由度即n-1個標準正態隨機變數，那麼$(\frac{{\sum }_{i=1}^n(y_i-\bar{y})}{\sigma }{)}^2=n-1$，整理該公式變為${\sigma }^2=\frac{1}{n-1}{\sum }_{i=1}^n(y_i-\bar{y}{)}^2$得到總體方差。

小弟希望那些初學統計的同學能儘可能的知道所有細節，所以寫的比較多，甚至把兩年多以前的筆記都找了回來，小弟畢竟不是數學專業，也希望大家可以糾察出小弟在理論上的謬誤從而互相學習，小弟在此不勝感激。

言歸正傳，為了算這兩個估計量的MSE，所以我們需要計算這兩個估計的方差。但很不幸的是我們無法計算這兩個估計的方差的具體值，因為我們無法解決$E[y_i^2]$,即使我們知道$E[y_i]=\mu =\int yp(y)dy$但我們無法解出$E[y_i^2]=\int y^{2}p(y)d{y}^2$.換句話說，如果是離散變數,即使我們知道$E[y]=\mu =\sum yp(y)$,但我們無法算出$E[y^2]=\sum y^{2}p(y)$.如果把所有對應的概率具體值都給出來，我們還是可以算的，但畢竟小弟我在講原理，假設的條件不會很多，但如果碰到具體實驗或者專案，那已知條件肯定會充沛很多，大家利用公式計算MSE再對比對應估計量的MSE即可.

迴歸正題，雖然不能計算具體的估計量的方差，但我們卻知道這兩個估計的方差誰大誰小.
$Va{r}_{{\sigma }^2}({\bar{\sigma }}_u^2)=(\frac{n}{n-1}{)}^{2}Va{r}_{{\sigma }^2}[{\bar{\sigma }}_{ML}^2]$
可以看出$Va{r}_{{\sigma }^2}[{\bar{\sigma }}_{ML}^2]$更小.

也就是說${\bar{\sigma }}_u^2$這個估計雖然無偏，但有較大的方差.雖然${\bar{\sigma }}_{ML}^2$有偏差但有較小的方差.這說明了${\bar{\sigma }}_{ML}^2$犧牲了無偏差從而換來了方差較小的結果。
因為$MS{E}_{\theta }(\bar{\theta })=b_{\theta }(\bar{\theta }{)}^2+Va{r}_{\theta }(\bar{\theta })$，偏差和方差由如魚肉和熊掌不可兼得，你如果注重無偏差，那麼方差相比必然會大，你如果注重小方差，那偏差相比必然會大. 在現實問題中，這就是一個度的問題了，假如你有兩個估計量算出的MSE值相同，這時候你需要考慮MSE裡對應成分的問題了，如果你的偏差很小，方差很大，那麼導致了你只能預測你手上的資料，對於未知資料的預測你不會有很大信心，因為你方差很大，預測不穩定，這就是過飽和估計(overestimate)。如果你偏差很大，方差很小。相反的話就是非飽和估計(underestimate)。另外$MS{E}_{\theta }(\bar{\theta })$會隨著n(樣本數)的增大趨近於0，因為$b_{\theta }(\bar{\theta })$和$Va{r}_{\theta }(\bar{\theta })$均服從$O(\frac{1}{n})$. 但因為在MSE中，$b_{\theta }(\bar{\theta }{)}^2$服從$O(\frac{1}{n^2})$，也就是說，隨著n的增大，$b_{\theta }(\bar{\theta }{)}^2$會比$Va{r}_{\theta }(\bar{\theta })$先趨近到0.
看到這裡，各位同學是不是會有個想法，我們是不是可以有個估計方法可以犧牲無偏性，從而減小方差，因為當我們樣本數量很多時我們更注重方差，而不是偏差，因為偏差會先趨近到0，況且我們的模型一般是預測未知資料，相應的減少方差是必要的。如果你能想到這一點，恭喜你，如果你早出生幾年，你必然是統計學裡的大才，因為你和當年的吉洪諾夫同學,拉索同學想的一樣，這就是嶺迴歸,拉索迴歸想要做的事情，嶺迴歸就是在最小二乘法這種無偏差估計的基礎上加上懲罰措施從而犧牲最小二乘法的無偏性，進而減小方差的一種估計引數方法.而拉索同學想的更細些，因為我們畢竟不知道模型需要有哪些引數，所以拉索迴歸還能精確的估計出引數為0的真參。

最後MSE還是有缺點的，因為MSE依靠對應引數的選擇。舉個例子
${\bar{\sigma }}_u^2$是總體方差，無偏估計，但是$E\sqrt{{\bar{\sigma }}_u^2}-\sigma \ne 0$
${\bar{\sigma }}_u^2$的總體標準差是有偏差的

三. 結語

自習的同學可以參考Ross, S.M. (2014) Introduction to Probability and Statistics for Engineers and Scientists, 5th ed. Academic Press. 第6章(6.1,6.2,6.4,6.5)-7章(7.1,7.2,7.7)