矩陣與向量的乘法可以理解為變換+投影，變換分為旋轉變換與伸縮變換，投影可以是低維向高維的投影，也可以是高維向低維的投影。因此，方陣與向量的乘法只有變換操作，一個行數大於列數的矩陣與向量的乘法包含了變換以及維度的提高，一個行數小於列數的矩陣與向量的乘法則是維數的降低。
方陣的矩陣乘法對應了一種變換，將一個向量變成另一個向量，新向量的方向、大小往往是與舊向量是不同的。在變換的過程中，又可以分為旋轉變換與伸縮變換，而當一個矩陣對某些向量只發生伸縮變換時（變換後的向量與原向量平行），這些向量便是這個矩陣的特徵向量，伸縮的比例便是特徵值。由於要求只對向量發生伸縮變換（隱式地說明沒有投影變換），因此只有方陣才擁有特徵向量這個性質便很好理解。這樣做的意義在於，看清一個矩陣在那些方面能產生最大的效果（power），並根據所產生的每個特徵向量（一般研究特徵值最大的那幾個）進行分類討論與研究。
特徵向量和特徵值有哪些具體用途？
影像處理中的PCA方法，選取特徵值最高的k個特徵向量來表示一個矩陣，從而達到降維分析+特徵顯示的方法，還有影像壓縮的K-L變換。再比如很多人臉識別，資料流模式挖掘分析等方面。
在力學中，慣量的特徵向量定義了剛體的主軸。慣量是決定剛體圍繞質心轉動的關鍵資料。
在譜系圖論中，一個圖的特徵值定義為圖的鄰接矩陣A的特徵值，或者（更多的是）圖的拉普拉斯運算元矩陣， Google的PageRank演算法就是一個例子。
在量子力學中，特別是在原子物理和分子物理中，在Hartree-Fock理論下，原子軌道和分子軌道可以定義為Fock運算元的特徵向量。相應的特徵值通過Koopmans定理可以解釋為電離勢能。在這個情況下，特徵向量一詞可以用於更廣泛的意義，因為Fock運算元顯式地依賴於軌道和它們地特徵值。
參考文章：
[1]http://blog.163.com/renguangqian@126/blog/static/1624014002011711114526759/
[2]http://www.zhihu.com/question/20382971