人工智慧之機器學習線代基礎——核空間（Kernel Space）

z_s_s發表於2024-11-20
人工智慧機器學習

在矩陣的上下文中，ker⁡(A) 是矩陣 A 的核空間（Kernel Space），也稱為零空間（Null Space），它表示在矩陣 A 的線性變換下被對映到零向量的所有輸入向量的集合。

1. 核空間的定義

對於一個矩陣 A∈Rm×n，核空間 ker⁡(A)定義為：

ker(A)={x∈Rn:Ax=0}

核空間的性質：

  1. ker⁡(A) 是一個向量空間。
  2. 核空間的維數稱為矩陣 A的零空間維數（nullity）。

2. 核空間與秩的關係

根據線性代數中的秩-零化維數定理（Rank-Nullity Theorem），矩陣的秩 rank(A)和核空間維數 nullity(A)滿足以下關係：

rank(A)+nullity(A)=n

其中：

  • n 是矩陣 A 的列數；
  • rank(A)：矩陣的秩，列空間的維數；
  • nullity(A)：核空間的維數。

因此：

nullity(A)=n−rank(A)

3. 核空間與特徵值的關係

特徵值為零時，對應的特徵向量構成矩陣的核空間：

  • 若矩陣 A 的特徵值 λ=0，說明存在非零向量 x 使 Ax=0，即 x∈ker⁡(A)。
  • 核空間的維數等於零特徵值的重數。

　　公式化關係

　　若 A 是一個 n×n的矩陣，秩和核空間維數滿足：

　　rank(A)=n−dim⁡(ker⁡(A))=n−(零特徵值的個數).

4. 核空間的幾何意義

在幾何上，ker⁡(A) 表示：

  1. 被線性變換 A 壓縮到零向量的輸入向量的集合。
  2. ker⁡(A)是矩陣 A 的列向量無法覆蓋的空間。
  3. 核空間的維數表示線性變換 A 的退化程度。

5. 核空間的計算方法

步驟

  1. 寫出矩陣方程 Ax=0。
  2. 對矩陣 A 進行行簡化，化為簡化行階梯形矩陣（RREF）。
  3. 求解線性方程組，得到自由變數。
  4. 自由變數的解構成核空間的基。

示例

　　計算矩陣

的核空間。

(1) 化為增廣矩陣：

(2) 化為行階梯形矩陣： 透過初等行變換：

(3) 解線性方程組： 根據方程：

x1+2x2+3x3=0 x2+2x3=0

取自由變數 x3=t，解得：

x2=−2t,x1=t

核空間的基為：

6. 核空間的實際應用

6.1 線性方程組的解

  • 核空間是齊次方程組 Ax=0A\mathbf{x} = \mathbf{0}Ax=0 的解空間。
  • 非齊次方程組的通解為特解加齊次解的組合。

6.2 判斷矩陣的秩

  • 核空間的維數直接決定了矩陣的秩： rank(A)+dim⁡(ker⁡(A))=n

6.3 特徵值和特徵向量分析

  • 零特徵值的存在與核空間直接相關，核空間維數等於零特徵值的重數。

6.4 訊號處理與資料分析

  • 在主成分分析（PCA）中，核空間用於降維。
  • 核空間分析可用於資料相關性的判斷。

總結

ker⁡(A) 是描述線性變換的重要工具：

  • 從幾何上，核空間是矩陣對映為零的輸入向量集合。
  • 核空間的維數（nullity）與矩陣的秩（rank）密切相關，透過秩-零化維數定理聯絡。
  • 在實際應用中，核空間用於解方程組、資料降維、訊號處理等多個領域。

相關文章