摘要：
幫助具有特徵值和特徵向量等線性代數的基礎概念但不能理解其意義的讀者理解特徵值和特徵向量出現的意義。從高斯消元法到矩陣乘法、用矩陣乘法的兩套解釋邏輯解釋相似矩陣，用相似矩陣解釋特徵值和特徵向量。
正文：
1.從高斯消元法到矩陣乘法-矩陣是如何產生的
注：這段內容引自：馬同學 (matongxue.com)
高斯消元法產生於對線性方程組，即多元一次方程組的求解問題。這裡只考慮有唯一解的情況。操作是透過行之間的線性組合（相互加減）使對角線以外的係數為零。以下圖為例
英國數學家阿瑟·凱萊（1821－1895）將高斯消元方法符號化，提出了數塊和數塊乘法。將線性代數寫成數塊的形式
將行之間的線性組合寫成為數塊乘法形式，單行乘法表示第一步
將單行乘法合併為多行乘法表示整個消元過程得到減化
後將數塊定義為了矩陣，以上就是矩陣及矩陣乘法是如何產生的。
2.矩陣乘法的兩套解釋邏輯
注：這段內容引自：馬同學 (matongxue.com)
用兩套邏輯解釋下面這個矩陣乘法等式：
2.1邏輯1：矩陣是一種變換
可以將矩陣A理解為是一種變換，向量u經過矩陣A變換後得到向量b。
2.2邏輯2：矩陣的列構成基向量組，向量是基向量座標系下的座標
向量a的位置是確定的，但在不同座標系下a的座標不同。比如向量a在(1,0),(0,1)為基向量的座標系中座標為(4,3)，在(4,0),(0,3)為基向量的座標系中座標為(1,1)。基向量構成矩陣的列，座標構成向量，得到矩陣：
這裡先認為向量a在(1,0),(0,1)為基向量的座標系中座標為a的絕對座標。由於a的位置是始終沒有變的，所以在任何的座標系（比如說A）下a的相對座標（比如說u）可能不同，但a的絕對座標（比如說b）始終不變。換句話說，一個向量（或者說是一個點）在矩陣A的座標系下的座標就是在A的基向量的線性組合，這個線性組合等效於這個向量本身。透過代入基向量的絕對座標表示形式就得到向量的絕對座標。
3.用矩陣乘法解釋相似矩陣
注：這段內容引自：馬同學 (matongxue.com)
首先給出相似矩陣的物理意義：在相對座標系中的變換等效於在絕對座標系中的變換，此時成這兩個變換是相似矩陣。數學意義：設A,B都是n階矩陣，若有可逆矩陣P，使
則稱B是A的相似矩陣，或說A和B相似 ---《線性代數》同濟版
數學定義中矩陣P就是相對座標系，矩陣A就是在相對座標系中的變化，矩陣B就是在絕對座標系中的變換。
現在具體解釋為什麼？
向量u在絕對座標系中的座標就是u，在相對座標系P中的座標是v,於是有下面這個等式
在相對座標系下對向量u做變換A，變換後的得到新的向量，新的向量的相對座標為w，於是有下面這個等式
上式中P是相對座標系，A是在相對座標系下的變換，v是變換前的相對座標，所以等號兩邊為變換後新的向量的絕對座標。
在絕對座標系下對向量u做變換B，變化後得到新的向量，新的向量的絕對座標為z，於是有下面這個等式
上式中I是絕對座標系，是單位矩陣，所以可以省略。
讓在相對座標系P中的變換A與在絕對座標系I中的變換B等效，及讓新向量的絕對座標相同，於是有下面這個等式
所以A在相對座標系P中的變化，B是與之等效的在絕對座標系的變換。應用於用相對座標系P中的簡單變換A來描述絕對座標系中的複雜變換B。
4.用相似矩陣解釋特徵值和特徵向量
注：這段內容引自：馬同學 (matongxue.com)
特徵值和特徵向量的定義是：矩陣A，有向量v和標量λ滿足：
則向量v為A的特徵向量，標量λ為A的特徵值。eigenvalue之所以翻譯為特徵值是因為eigen在德語中是固有的，而這個特性只有矩陣A自身有關。
這裡只考慮n*n矩陣A，有n個特徵向量v和n個特徵值λ滿足的情況。所有的特徵向量作為列向量組成特徵矩陣V，對應的特徵值作為對角元素構成一個對角矩陣。於是有下面的式子
用相似矩陣解釋，把矩陣Σ作為變換，Σ就是A的相似矩陣。由於Σ是對角矩陣，相當於在每一個基向量上進行伸縮，伸縮的倍數就是對應的特徵值。就是用在A的特徵向量作為基向量構成的相對座標系V中簡單伸縮變換描述在絕對座標系中的複雜變換A。
5.特徵值和特徵向量的應用
注：這段內容引自：馬同學 (matongxue.com)和特徵值和特徵向量到底是個啥？能做什麼用？ - marsggbo - 部落格園 (cnblogs.com)
現在有變換A，原向量u(1,1)
V是A的特徵矩陣，Σ是特徵值。變換A是在第一個特徵向量方向上放大100倍，在第二個特徵向量方向上保持不變，變換後向量y為(100,1)。由於第二個特徵方向上變化相對第一個方向上太小了，第一個方向上的變換就足夠表現變換的特性，所以考慮省去第二個特徵方向和第二個特徵值後得到變化A的近似，近似變換後的向量為(100,0)。從而透過略去變化小的部分，減小矩陣V和Σ的大小從而壓縮資料。
到這裡已經結束，最後特徵向量是否正交的問題還會產生出奇異值分解方法的概念，這是之後的內容。
寫這篇部落格的目的：自己在學習SVD過程中總會遇到特徵值和特徵向量的概念，但起初對特徵值和特徵向量的真正意義一直無法理解。 “遇到一個數學概念，先問自己三個問題，第一個問題是這個概念是由哪個問題延伸出來的”，以上就是我自己後來透過閱讀他人分享的資料後的自己對特徵值和特徵向量的意義的筆記和理解。希望能對和我有過同樣疑問的同學有所幫助。如有錯誤歡迎批評指正，郵箱pengh0328@gmail.com。