什麼是協方差（Covariance）？
協方差表示的是兩個變數的總體的誤差，這與只表示一個變數誤差的方差不同。 如果兩個變數的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那麼兩個變數之間的協方差就是正值。 如果兩個變數的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那麼兩個變數之間的協方差就是負值。
以上是某百科的解釋。等等！是不是還是覺得比較晦澀難懂呢？對於非理工科的小白來說，如何清晰、形象地理解協方差和相關係數的數學概念呢？沒關係，今天紅色石頭就通過形象生動的例子，通俗易懂地給大家來講一講協方差與相關係數。
1. 協方差是怎麼來的？
簡單地來說，協方差就是反映兩個變數 X 和 Y 的相互關係。這種相互關係大致分為三種：正相關、負相關、不相關。
什麼是正相關呢？例如房屋面積（X）越大，房屋總價（Y）越高，則房屋面積與房屋總價是正相關的；
什麼是負相關呢？例如一個學生打遊戲的時間（X）越多，學習成績（Y）越差，則打遊戲時間與學習成績是負相關的；
什麼是不相關呢？例如一個人皮膚的黑白程度（X）與他的身體健康程度（Y）並無明顯關係，所以是不相關的。
我們先來看第一種情況，令變數 X 和變數 Y 分別為：
X = [11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30]
Y = [12 15 17 21 22 21 18 23 26 25 22 28 24 28 30 33 28 34 36 35]
在座標上描繪出 X 和 Y 的聯合分佈：
顯然，Y 在整體趨勢上是隨著 X 的增加而增加的，即 Y 與 X 的變化是同向的。這種情況，我們就稱 X 與 Y 是正相關的。
我們再來看第二種情況，令變數 X 和變數 Y 分別為：
X = [11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30]
Y = [35 35 29 29 28 28 27 26 26 23 21 22 25 19 16 19 20 16 15 16]
在座標上描繪出 X 和 Y 的聯合分佈：
顯然，Y 在整體趨勢上是隨著 X 的增加而減少的，即 Y 與 X 的變化是反向的。這種情況，我們就稱 X 與 Y 是負相關的。
我們再來看第三種情況，令變數 X 和變數 Y 分別為：
X = [11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30]
Y = [16 16 28 17 20 26 20 17 21 15 12 29 24 25 16 15 21 13 17 25]
在座標上描繪出 X 和 Y 的聯合分佈：
顯然，Y 在整體趨勢上與 X 的並無正相關或者負相關的關係。這種情況，我們就稱 X 與 Y 是不相關的。
回過頭來，我們來看 X 與 Y 正相關的情況，令 EX、EY 分別是 X 和 Y 的期望值。什麼是期望呢？在這裡我們可以把它看成是平均值，即 EX 是變數 X 的平均值，EY 是變數 Y 的平均值。把 EX 和 EY 在圖中表示出來得到下面的圖形：
上圖中，整個區域被 EX 和 EY 分割成 I、II、III、IV 四個區域，且 X 和 Y 大部分分佈在 I、III 區域內，只有少部分分佈在 II、IV 區域內。
在區域 I 中，滿足 X>EX，Y>EY，則有 (X-EX)(Y-EY)>0；
在區域 II 中，滿足 X<EX，Y>EY，則有 (X-EX)(Y-EY)<0；
在區域 III 中，滿足 X<EX，Y<EY，則有 (X-EX)(Y-EY)>0；
在區域 IV 中，滿足 X>EX，Y<EY，則有 (X-EX)(Y-EY)<0。
顯然，在區域 I、III 中，(X-EX)(Y-EY)>0；在區域 II、IV 中，(X-EX)(Y-EY)<0。而 X 和 Y 正相關時，資料大部分是分佈在 I、III 區域內，只有少部分分佈在 II、IV 區域。因此，從平均角度來看，正相關滿足：
E(X-EX)(Y-EY)>0
上式表示的是 (X-EX)(Y-EY) 的期望大於零，即 (X-EX)(Y-EY) 的平均值大於零。
然後，再來看 X 和 Y 負相關的情況：
上圖中，X 和 Y 大部分分佈在 II、IV 區域內，只有少部分分佈在 I、III 區域內。
同樣，在區域 I、III 中，(X-EX)(Y-EY)>0；在區域 II、IV 中，(X-EX)(Y-EY)<0。而 X 和 Y 負相關時，資料大部分是分佈在 II、IV 區域內，只有少部分分佈在 I、III 區域。因此，從平均角度來看，負相關滿足：
E(X-EX)(Y-EY)<0
上式表示的是 (X-EX)(Y-EY) 的期望小於零，即 (X-EX)(Y-EY) 的平均值小於零。
最後，再來看 X 和 Y 不相關的情況：
上圖中，X 和 Y 在 I、II、III、IV 區域內近似均勻分佈。
同樣，在區域 I、III 中，(X-EX)(Y-EY)>0；在區域 II、IV 中，(X-EX)(Y-EY)<0。而 X 和 Y 不相關時，資料在各區域內均勻分佈，從平均角度來看，不相關滿足：
E(X-EX)(Y-EY)=0
上式表示的是 (X-EX)(Y-EY) 的期望等於零，即 (X-EX)(Y-EY) 的平均值等於零。
綜上所述，我們得到以下結論：
- 當 X 和 Y 正相關時：E(X-EX)(Y-EY)>0
-
當 X 和 Y 負相關時：E(X-EX)(Y-EY)<0
-
當 X 和 Y 不相關時：E(X-EX)(Y-EY)=0
因此，我們就引出了協方差的概念，它是表示 X 和 Y 之間相互關係的數字特徵。我們定義協方差為：
Cov=E(X-EX)(Y-EY)
根據之前討論的結果，
- 當 Cov(X,Y) > 0 時，X 與 Y 正相關；
-
當 Cov(X,Y) < 0 時，X 與 Y 負相關；
-
當 Cov(X,Y) = 0 時，X 與 Y 不相關。
值得一提的是，E 代表求期望值。也可以用平均值來計算協方差：
Cov(X,Y)=\frac{1}{N-1}\sum_{i=1}^N(X_i-\bar X_i)(Y_i-\bar Y_i)
這裡，之所以除以 N-1 而不是 N 的原因是對總體樣本期望的無偏估計。順便提一下，如果令 Y = X，則協方差表示的正是 X 的方差。
下面，我們根據協方差的公式，分別計算上面三種情況下 X 與 Y 的協方差。
X 與 Y 正相關時，Cov(X,Y) = 37.3684；
X 與 Y 負相關時，Cov(X,Y) = -34.0789；
X 與 Y 不相關時，Cov(X,Y) = -1.0263。
2. 相關係數與協方差什麼關係？
我們已經知道了什麼是協方差以及協方差公式是怎麼來的，如果知道兩個變數 X 與 Y 的協方差與零的關係，我們就能推斷出 X 與 Y 是正相關、負相關還是不相關。那麼有一個問題：協方差數值大小是否代表了相關程度呢？也就是說如果協方差為 100 是否一定比協方差為 10 的正相關性強呢？
請看下面這個例子！
變數 X1 與 Y1 分別為：
X1 = [11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30]
Y1 = [12 12 13 15 16 16 17 19 21 22 22 23 23 26 25 28 29 29 31 32]
變數 X2 和 Y2 分別為：
X2 = [110 120 130 140 150 160 170 180 190 200 210 220 230 240 250 260 270 280 290 300]
Y2 = [113 172 202 206 180 184 242 180 256 209 288 255 240 278 319 322 345 289 333 372]
X1、Y1 和 X2、Y2 分別聯合分佈圖，如下所示：
顯然，從圖中可以看出，X1、Y1 和 X2、Y2 都呈正相關，而且 X1 與 Y1 正相關的程度明顯比 X2 與 Y2 更大一些。接下來，我們計算兩幅圖的協方差看看是不是這樣。
Cov(X1,Y1) = 37.5526
Cov(X2,Y2) = 3730.26
意外！X2 與 Y2 的協方差竟然比 X1 與 Y1 的協方差還大 100 倍。看來並不是協方差越大，正相關程度越高。這到底是為什麼呢？
其實，出現這種情況的原因是兩種情況數值變化的幅值不同（或者量綱不同）。計算協方差的時候我們並沒有把不同變數幅值差異性考慮進來，在比較協方差的時候也就沒有一個統一的量綱標準。
所以，為了消除這一影響，為了準確得到變數之間的相似程度，我們需要把協方差除以各自變數的標準差。這樣就得到了相關係數的表示式：
\rho=\frac{Cov(X,Y)}{\sigma_X\sigma_Y}
可見，相關係數就是在協方差的基礎上除以變數 X 和 Y 的標準差。其中標準差的計算公式為：
\sigma_X=\sqrt{\frac{1}{N-1}\sum_{i=1}^N(X_i-\bar X_i)^2}
\sigma_Y=\sqrt{\frac{1}{N-1}\sum_{i=1}^N(Y_i-\bar Y_i)^2}
為什麼除以各自變數的標準差就能消除幅值影響呢？這是因為標準差本身反映了變數的幅值變化程度，除以標準差正好能起到抵消的作用，讓協方差標準化。這樣，相關係數的範圍就被歸一化到 [-1,1] 之間了。
下面，我們就來分別計算上面這個例子中 X1、Y1 和 X2、Y2 的相關係數。
ρ(X1,Y1) = 0.9939
ρ(X2,Y2) = 0.9180
好了，我們得到 X1 與 Y1 的相關係數大於 X2 與 Y2 的相關係數。這符合實際情況。也就是說，根據相關係數，我們就能判定兩個變數的相關程度，得到以下結論：
- 相關係數大於零，則表示兩個變數正相關，且相關係數越大，正相關性越高；
-
相關係數小於零，則表示兩個變數負相關，且相關係數越小，負相關性越高；
-
相關係數等於零，則表示兩個變數不相關。
回過頭來看一下協方差與相關係數的關係，其實，相關係數是協方差的標準化、歸一化形式，消除了量綱、幅值變化不一的影響。實際應用中，在比較不同變數之間相關性時，使用相關係數更為科學和準確。但是協方差在機器學習的很多領域都有應用，而且非常重要！更多協方差的應用紅色石頭以後會給大家慢慢講解哦！
參考文獻：
https://www.cnblogs.com/tsingke/p/6273970.html
https://www.zhihu.com/question/20852004
