全文轉自blog：http://blog.csdn.net/lfkupc/article/details/4561564
長時間以來一直不瞭解矩陣的特徵值和特徵向量到底有何意義（估計很多兄弟有同樣感受）。知道它的數學公式，但卻找不出它的幾何含義，教科書裡沒有真正地把這一概念從各種角度例項化地進行講解，只是一天到晚地列公式玩理論——有個屁用啊。
根據特徵向量數學公式定義，矩陣乘以一個向量的結果仍是同維數的一個向量，因此，矩陣乘法對應了一個變換，把一個向量變成同維數的另一個向量，那麼變換的效果是什麼呢？這當然與方陣的構造有密切關係，比如可以取適當的二維方陣，使得這個變換的效果就是將平面上的二維向量逆時針旋轉30度，這時我們可以問一個問題，有沒有向量在這個變換下不改變方向呢？可以想一下，除了零向量，沒有其他向量可以在平面上旋轉30度而不改變方向的，所以這個變換對應的矩陣(或者說這個變換自身)沒有特徵向量(注意：特徵向量不能是零向量)，所以一個變換的特徵向量是這樣一種向量，它經過這種特定的變換後保持方向不變，只是進行長度上的伸縮而已(再想想特徵向量的原始定義Ax=cx, cx是方陣A對向量x進行變換後的結果，但顯然cx和x的方向相同)。
這裡給出一個特徵向量的簡單例子，比如平面上的一個變換，把一個向量關於橫軸做映象對稱變換，即保持一個向量的橫座標不變，但縱座標取相反數，把這個變換表示為矩陣就是[1 0;0 -1]（分號表示換行），顯然[1 0;0 -1]*[a b]`=[a -b]`（上標`表示取轉置），這正是我們想要的效果，那麼現在可以猜一下了，這個矩陣的特徵向量是什麼?想想什麼向量在這個變換下保持方向不變，顯然，橫軸上的向量在這個變換下保持方向不變(記住這個變換是映象對稱變換，那鏡子表面上(橫軸上)的向量當然不會變化)，所以可以直接猜測其特徵向量是[a 0]`（a不為0），還有其他的嗎？有，那就是縱軸上的向量，這時經過變換後，其方向反向，但仍在同一條軸上，所以也被認為是方向沒有變化，所以[0 b]`（b不為0）也是其特徵向量。
綜上，特徵值只不過反映了特徵向量在變換時的伸縮倍數而已，對一個變換而言，特徵向量指明的方向才是很重要的，特徵值似乎不是那麼重要；但是，當我們引用了Spectral theorem（譜定律）的時候，情況就不一樣了。
Spectral theorem的核心內容如下：一個線性變換（用矩陣乘法表示）可表示為它的所有的特徵向量的一個線性組合，其中的線性係數就是每一個向量對應的特徵值，寫成公式就是：
從這裡我們可以看出，一個變換（矩陣）可由它的所有特徵向量完全表示，而每一個向量所對應的特徵值，就代表了矩陣在這一向量上的貢獻率——說的通俗一點就是能量（power），至此，特徵值翻身做主人，徹底掌握了對特徵向量的主動：你所能夠代表這個矩陣的能量高低掌握在我手中，你還吊什麼吊？
我們知道，一個變換可由一個矩陣乘法表示，那麼一個空間座標系也可視作一個矩陣，而這個座標系就可由這個矩陣的所有特徵向量表示，用圖來表示的話，可以想象就是一個空間張開的各個座標角度，這一組向量可以完全表示一個矩陣表示的空間的“特徵”，而他們的特徵值就表示了各個角度上的能量（可以想象成從各個角度上伸出的長短，越長的軸就越可以代表這個空間，它的“特徵”就越強，或者說顯性，而短軸自然就成了隱性特徵），因此，通過特徵向量/值可以完全描述某一幾何空間這一特點，使得特徵向量與特徵值在幾何（特別是空間幾何）及其應用中得以發揮。
關於特徵向量（特別是特徵值）的應用實在是太多太多，近的比如俺曾經提到過的PCA方法，選取特徵值最高的k個特徵向量來表示一個矩陣，從而達到降維分析+特徵顯示的方法；近的比如Google公司的成名作PageRank，也是通過計算一個用矩陣表示的圖（這個圖代表了整個Web各個網頁“節點”之間的關聯）的特徵向量來對每一個節點打“特徵值”分；再比如很多人臉識別，資料流模式挖掘分析等方面，都有應用，有興趣的兄弟可以參考IBM的Spiros在VLDB‘ 05，SIGMOD ’06上的幾篇文章。
特徵向量不僅在數學上，在物理，材料，力學等方面（應力、應變張量）都能一展拳腳，有老美曾在一本線代書裡這樣說過“有振動的地方就有特徵值和特徵向量”，確實令人肅然起敬+毛骨悚然……