均值、方差、協方差、協方差矩陣、特徵值、特徵向量

均值：描述的是樣本集合的中間點。

方差：描述的是樣本集合的各個樣本點到均值的距離之平均，一般是用來描述一維資料的。

 

協方差：

1. 是一種用來度量兩個隨機變數關係的統計量。
2. 只能處理二維問題。
3. 計算協方差需要計算均值。

如下式：

 

方差與協方差的關係

方差是用來度量單個變數 “ 自身變異”大小的總體引數，方差越大表明該變數的變異越大
協方差是用來度量兩個變數之間 “協同變異”大小的總體引數，即二個變數相互影響大小的引數，協方差的絕對值越大，則二個變數相互影響越大。

協方差矩陣：

1. 協方差矩陣能處理多維問題；
2. 協方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差。
3. 協方差矩陣計算的是不同維度之間的協方差，而不是不同樣本之間的。
4. 樣本矩陣中若每行是一個樣本，則每列為一個維度，所以計算協方差時要按列計算均值。

如果資料是3維，那麼協方差矩陣是：

  

特徵值與特徵向量

線性變化：

線性變換(線性對映)是在作用於兩個向量空間之間的函式，它保持向量加法和標量乘法的運算，從一個向量空間變化到另一個向量空間。實際上線性變換表現出來的就是一個矩陣。

特徵值和特徵向量是一體的概念：

對於一個給定的線性變換（矩陣A），它的特徵向量 ξ 經過這個線性變換之後，得到的新向量仍然與原來的ξ保持在同一條直線上，但其長度也許會改變。一個特徵向量的長度在該線性變換下縮放的比例(λ)稱為其特徵值（本徵值）。

數學描述：Aξ=λξ

 線上性變換A的作用下，向量ξ僅僅在尺度上變為原來的λ倍。稱ξ是線性變換A的一個特徵向量，λ是對應的特徵值。

1. 矩陣是一個表示二維空間的陣列，矩陣可以看做是一個變換。線上性代數中，矩陣可以把一個向量變換到另一個位置，或者說從一個座標系變換到另一個座標系。矩陣的“基”，實際就是變換時所用的座標系。
2. 矩陣乘法對應了一個變換，是把任意一個向量變成另一個方向或長度都大多不同的新向量。在這個變換的過程中，原向量主要發生旋轉、伸縮的變化。如果矩陣對某一個向量或某些向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱為這個矩陣的特徵向量，伸縮的比例就是特徵值。
3. 任意給定一個矩陣A，並不是對所有的向量x它都能拉長（縮短）。凡是能被矩陣A拉長（縮短）的向量就稱為矩陣A的特徵向量（Eigenvector）；拉長（縮短）的量就是這個特徵向量對應的特徵值（Eigenvalue）。
4. 一個矩陣可能可以拉長（縮短）多個向量，因此它就可能有多個特徵值。
5. 對於實對稱矩陣來說，不同特徵值對應的特徵向量必定正交。
6. 一個變換矩陣的所有特徵向量組成了這個變換矩陣的一組基。所謂基，可以理解為座標系的軸。我們平常用到的大多是直角座標系，線上性代數中可以把這個座標系扭曲、拉伸、旋轉，稱為基變換。我們可以按需求去設定基，但是基的軸之間必須是線性無關的，也就是保證座標系的不同軸不要指向同一個方向或可以被別的軸組合而成，否則的話原來的空間就“撐”不起來了。在主成分分析（PCA）中，我們通過在拉伸最大的方向設定基，忽略一些小的量，可以極大的壓縮資料而減小失真。
7. 變換矩陣的所有特徵向量作為空間的基之所以重要，是因為在這些方向上變換矩陣可以拉伸向量而不必扭曲它，使得計算大為簡單。因此特徵值固然重要，但我們的終極目標卻是特徵向量。
8. 同一特徵值的任意多個特徵向量的線性組合仍然是A屬於同一特徵值的特徵向量。

　　顧名思義，特徵值和特徵向量表達了一個線性變換的特徵。在物理意義上，一個高維空間的線性變換可以想象是在對一個向量在各個方向上進行了不同程度的變換，而特徵向量之間是線性無關的，它們對應了最主要的變換方向，同時特徵值表達了相應的變換程度。

　　具體的說，求特徵向量，就是把矩陣A所代表的空間進行正交分解，使得A的向量集合可以表示為每個向量a在各個特徵向量上的投影長度。我們通常求特徵值和特徵向量即為求出這個矩陣能使哪些向量只發生拉伸，而方向不發生變化，觀察其發生拉伸的程度。這樣做的意義在於，看清一個矩陣在哪些方面能產生最大的分散度（scatter），減少重疊，意味著更多的資訊被保留下來。

 Referee：

淺談協方差矩陣及例項計算

線性變換、特徵值和特徵向量詳細理解

 特徵值和特徵向量的幾何和物理意義