閱讀翻譯Mathematics for Machine Learning之2.5 Linear Independence

閱讀翻譯Mathematics for Machine Learning之2.5 Linear Independence

關於：

• 首次發表日期：2024-07-18
• Mathematics for Machine Learning官方連結： https://mml-book.com
• ChatGPT和KIMI機翻，人工潤色
• 非數學專業，如有錯誤，請不吝指出

2.5 線性無關（ Linear Independence）

接下來，我們將仔細看看如何操作向量（向量空間的元素）。特別是，我們可以將向量相加並用標量相乘。閉合性（closure property）保證了我們最終得到的還是同一向量空間中的另一個向量。我們可以找到一組（set）向量，透過相加和縮放這些向量，我們可以表示向量空間中的每一個向量。這組向量稱為基（base），我們將在第2.6.1節討論它們。在此之前，我們需要介紹線性組合和線性無關的概念。

定義 2.11（線性組合）。考慮一個向量空間 \(V\) 和有限數量的向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V\)。那麼，每一個 \(\boldsymbol{v} \in V\) 形式如下的向量

\[\boldsymbol{v}=\lambda_1 \boldsymbol{x}_1+\cdots+\lambda_k \boldsymbol{x}_k=\sum_{i=1}^k \lambda_i \boldsymbol{x}_i \in V \tag{2.65} \]

其中 \(\lambda_1, \ldots, \lambda_k \in \mathbb{R}\) 是向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的線性組合。

零向量 \(\mathbf{0}\) 總是可以寫成 \(k\) 個向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的線性組合，因為 \(\mathbf{0}=\sum_{i=1}^k 0 \boldsymbol{x}_i\) 總是成立的。接下來，我們對一組向量的非平凡（non-trivial）線性組合表示 \(\mathbf{0}\) 感興趣，即向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的線性組合，其中不是所有係數 \(\lambda_i\) 在 (2.65) 中都為 0。

定義 2.12（線性（不）相關性）。讓我們考慮一個向量空間 \(V\) 以及 \(k \in \mathbb{N}\) 和 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V\)。如果存在一個非平凡的線性組合，使得 \(\mathbf{0}=\sum_{i=1}^k \lambda_i \boldsymbol{x}_i\) 且至少有一個 \(\lambda_i \neq 0\)，則向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 是線性相關的。如果只存在零解，即 \(\lambda_1=\ldots=\lambda_k=0\)，則向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 是線性無關的。

線性無關是線性代數中最重要的概念之一。直觀上，一組線性無關的向量由沒有冗餘的向量組成，即，如果我們從集合中移除任何一個向量，我們將失去一些東西。在接下來的章節中，我們將更正式地討論這一直覺。

註釋 以下性質對於判斷向量是否線性無關是有用的：

• \(k\) 個向量要麼線性相關，要麼線性無關，沒有第三種可能。

• 如果向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 中至少有一個是零向量 \(\mathbf{0}\)，那麼它們是線性相關的。如果有兩個向量相同，也成立。

• 向量 \(\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\}, k \geqslant 2\) 是線性相關的，當且僅當（至少）其中一個是其他向量的線性組合。特別地，如果一個向量是另一個向量的倍數，即 \(\boldsymbol{x}_i=\lambda \boldsymbol{x}_j, \lambda \in \mathbb{R}\)，那麼集合 \(\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\}\) 是線性相關的。

• 檢查向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V\) 是否線性無關的一種實用方法是使用高斯消元法：將所有向量作為矩陣 \(\boldsymbol{A}\) 的列，並進行高斯消元，直到矩陣處於行階梯形態（這裡不需要行簡化階梯形態（reduced row-echelon form））：

  • 樞軸列（pivot columns）表示與其左邊的向量線性無關的向量。注意，在構建矩陣時向量是有順序的。
  • 非樞軸列可以表示為左邊樞軸列的線性組合。例如，行階梯形態
  \[\left[\begin{array}{lll} 1 & 3 & 0 \\ 0 & 0 & 2 \end{array}\right] \]

  告訴我們第一列和第三列是樞軸列。第二列是非樞軸列，因為它是第一列的三倍。

所有列向量是線性無關的當且僅當所有列都是樞軸列。如果至少有一個非樞軸列，則這些列（因此，相應的向量）是線性相關的。

註釋 考慮一個向量空間 \(V\)，其中有 \(k\) 個線性無關的向量 \(\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\) 和 \(m\) 個線性組合

\[\begin{gathered} \boldsymbol{x}_1=\sum_{i=1}^k \lambda_{i1} \boldsymbol{b}_i, \\ \vdots \\ \boldsymbol{x}_m=\sum_{i=1}^k \lambda_{im} \boldsymbol{b}_i . \end{gathered} \tag{2.7.0} \]

定義 \(\boldsymbol{B}=\left[\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\right]\) 為一個矩陣，其列是線性無關的向量 \(\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\)，我們可以更緊湊地寫成

\[\begin{gathered} \boldsymbol{x}_j=\boldsymbol{B} \boldsymbol{\lambda}_j, \quad \boldsymbol{\lambda}_j=\left[\begin{array}{c} \lambda_{1j} \\ \vdots \\ \lambda_{kj} \end{array}\right], \quad j=1, \ldots, m,\\ \end{gathered} \tag{2.7.1} \]

我們想要檢驗 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\) 是否線性無關。為此，我們遵循檢驗 \(\sum_{j=1}^m \psi_j \boldsymbol{x}_j=\mathbf{0}\) 的一般方法。透過 (2.71)，我們得到

\[\sum_{j=1}^m \psi_j \boldsymbol{x}_j=\sum_{j=1}^m \psi_j \boldsymbol{B} \boldsymbol{\lambda}_j=\boldsymbol{B} \sum_{j=1}^m \psi_j \boldsymbol{\lambda}_j . \tag{2.7.2} \]

這意味著當且僅當列向量 \(\left\{\boldsymbol{\lambda}_1, \ldots, \boldsymbol{\lambda}_m\right\}\) 是線性無關的， \(\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right\}\) 是線性無關的。

註釋：在一個向量空間 \(V\) 中，\(m\) 個由 \(k\) 個向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 線性組合而成的向量是線性相關的，如果 \(m>k\)。