【深度學習基礎-14】迴歸中的相關係數r和決定係數R^2

1 皮爾遜相關係數（Pearson Correlation Coefficient）

皮爾遜相關係數廣泛用於度量兩個變數之間的相關程度，其值介於-1與1之間。

兩個變數之間的皮爾遜相關係數定義為兩個變數之間的協方差和標準差的商：

上式定義了總體相關係數，常用希臘小寫字母  作為代表符號。估算樣本的協方差和標準差，可得到皮爾遜相關係數，常用英文小寫字母 代表：

2 決定係數：R平方值

決定係數（coefficient of determination），有的教材上翻譯為判定係數，也稱為擬合優度。是相關係數的平方。表示可根據自變數的變異來解釋因變數的變異部分。

如某學生在某智力量表上所得的 IQ 分與其學業成績的相關係數 r=0.66，則決定係數 R^2=0.4356，即該生學業成績約有 44%可由該智力量表所測的智力部分來說明或決定。

R平方值為0.8，則表示迴歸關係可以解釋80%的變異。

2.1 簡單線性迴歸：

相關係數的平方

2.2 多元線性迴歸：

表示式：R2=SSR/SST=1-SSE/SST

其中：SST=SSR+SSE，SST (total sum of squares)為總平方和，SSR (regression sum of squares)為迴歸平方和，SSE (error sum of squares) 為殘差平方和。

                               

 

 3 R平方也有侷限性

當我們人為的向系統中新增過多的自變數，SSE會減少，從而R^2變大。因此我們採用校正R方，懲罰了過多無意義的自變數，R平方的修正方法：

n是樣本總數，p是預測個數。