閱讀翻譯Mathematics for Machine Learning之2.6 Generating Set and Basis

shizidushu發表於2024-07-19
Mac

閱讀翻譯Mathematics for Machine Learning之2.6 Generating Set and Basis

關於：

  • 首次發表日期：2024-07-19
  • Mathematics for Machine Learning官方連結： https://mml-book.com
  • ChatGPT和KIMI機翻，人工潤色
  • 非數學專業，如有錯誤，請不吝指出

2.6.1 Basis and Rank (基與秩)

定義 2.13（生成集與張成）。考慮一個向量空間 \(V=(\mathcal{V}, +, \cdot)\) 和一組向量 \(\mathcal{A}=\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right\} \subseteq \mathcal{V}\)。如果 \(\mathcal{V}\) 中的每一個向量 \(\boldsymbol{v}\) 都可以表示為 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的線性組合，則稱 \(\mathcal{A}\) 為 \(V\) 的一個生成集。向量 \(\mathcal{A}\) 中所有向量的線性組合構成的集合稱為 \(\mathcal{A}\) 的張成。如果 \(\mathcal{A}\) 張成了向量空間 \(V\)，我們寫作 \(V=\operatorname{span}[\mathcal{A}]\) 或 \(V=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right]\)。

生成集是張成向量（子）空間的向量集合，即每一個向量都可以表示為生成集中向量的線性組合。現在，我們將更加具體地描述張成向量（子）空間的最小生成集。

定義 2.14（基）。考慮一個向量空間 \(V=(\mathcal{V}, +, \cdot)\) 和 \(\mathcal{A} \subseteq \mathcal{V}\)。如果不存在比 \(\mathcal{A}\) 更小的集合 \(\tilde{\mathcal{A}} \subsetneq \mathcal{A} \subseteq \mathcal{V}\) 能張成 \(V\)，那麼\(V\) 的生成集 \(\mathcal{A}\) 被稱為最小生成集。\(V\) 的每一個線性無關的生成集都是最小的，並且被稱為 \(V\) 的一個基。

設 \(V=(\mathcal{V},+, \cdot)\) 是一個向量空間，\(\mathcal{B} \subseteq \mathcal{V}, \mathcal{B} \neq \emptyset\)。那麼，以下陳述是等價的：

  • \(\mathcal{B}\) 是 \(V\) 的一個基。
  • \(\mathcal{B}\) 是一個最小生成集。
  • \(\mathcal{B}\) 是 \(V\) 中的最大線性無關向量集，即向這個集合中新增任何其他向量都會使其線性相關。
  • 每一個向量 \(\boldsymbol{x} \in V\) 都是來自 \(\mathcal{B}\) 的向量的線性組合，並且每個線性組合都是唯一的，即：

\[\boldsymbol{x}=\sum_{i=1}^k \lambda_i \boldsymbol{b}_i=\sum_{i=1}^k \psi_i \boldsymbol{b}_i \tag{2.77} \]

且 \(\lambda_i, \psi_i \in \mathbb{R}, \boldsymbol{b}_i \in \mathcal{B}\)，這意味著 \(\lambda_i=\psi_i, i=1, \ldots, k\)。

基是一個最小的生成集和一個最大的線性無關向量集合。

**例2.16**
  • 在 \(\mathbb{R}^3\) 中，標準基是

\[\mathcal{B}=\left\{\left[\begin{array}{l} 1 \\ 0 \\ 0 \end{array}\right],\left[\begin{array}{l} 0 \\ 1 \\ 0 \end{array}\right],\left[\begin{array}{l} 0 \\ 0 \\ 1 \end{array}\right]\right\} \]

  • \(\mathbb{R}^3\) 中不同的基是

\[\mathcal{B}_1=\left\{\left[\begin{array}{l} 1 \\ 0 \\ 0 \end{array}\right],\left[\begin{array}{l} 1 \\ 1 \\ 0 \end{array}\right],\left[\begin{array}{l} 1 \\ 1 \\ 1 \end{array}\right]\right\}, \mathcal{B}_2=\left\{\left[\begin{array}{l} 0.5 \\ 0.8 \\ 0.4 \end{array}\right],\left[\begin{array}{l} 1.8 \\ 0.3 \\ 0.3 \end{array}\right],\left[\begin{array}{c} -2.2 \\ -1.3 \\ 3.5 \end{array}\right]\right\} . \]

  • 集合

\[\mathcal{A}=\left\{\left[\begin{array}{l} 1 \\ 2 \\ 3 \\ 4 \end{array}\right],\left[\begin{array}{c} 2 \\ -1 \\ 0 \\ 2 \end{array}\right],\left[\begin{array}{c} 1 \\ 1 \\ 0 \\ -4 \end{array}\right]\right\} \]

是線性無關的，但不是 \(\mathbb{R}^4\) 的生成集（也不是基）：例如，向量 \([1,0,0,0]^{\top}\) 不能透過 \(\mathcal{A}\) 中元素的線性組合得到。

註釋 每個向量空間 \(V\) 都有一個基 \(\mathcal{B}\)。前面的例子表明，一個向量空間 \(V\) 可以有許多不同的基，即沒有唯一的基。然而，所有的基都具有相同數量的元素，即基向量。

我們只考慮有限維向量空間 \(V\)。在這種情況下，\(V\) 的維數是其基向量的數量，記作 \(\operatorname{dim}(V)\)。如果 \(U \subseteq V\) 是 \(V\) 的子空間，則 \(\operatorname{dim}(U) \leqslant \operatorname{dim}(V)\)，且當且僅當 \(U=V\)時 \(\operatorname{dim}(U) = \operatorname{dim}(V)\) 。直觀地說，向量空間的維數可以理解為這個空間中獨立方向的數量。

註釋 向量空間的維數不一定是向量中元素的數量。例如，向量空間 \(V=\operatorname{span}[\left[\begin{array}{l}0 \\ 1\end{array}\right]]\) 是一維的，儘管基向量具有兩個元素。

向量空間的維數對應於其基向量的數量。

註釋 子空間 \(U=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right] \subseteq \mathbb{R}^n\) 的一個基可以透過以下步驟找到：

  1. 將張成向量寫成矩陣 \(\boldsymbol{A}\) 的列。
  2. 求解矩陣 \(\boldsymbol{A}\) 的行階梯形式。
  3. 與樞軸列相關聯的張成向量構成 \(U\) 的一個基。

2.6.2 Rank（秩）

一個矩陣 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的線性無關列的數量等於線性無關行的數量，並且被稱為 \(\boldsymbol{A}\) 的秩，表示為 \(\operatorname{rk}(\boldsymbol{A})\)。

註釋。矩陣的秩具有一些重要性質：

  • \(\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}\left(\boldsymbol{A}^{\top}\right)\)，即，列秩等於行秩。
  • \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的列張成一個子空間 \(U \subseteq \mathbb{R}^m\)，其維數為 \(\operatorname{dim}(U)=\operatorname{rk}(\boldsymbol{A})\)。稍後我們將這個子空間稱為像或值域。透過應用高斯消元法到 \(\boldsymbol{A}\) 可以找到 \(U\) 的一個基，以識別樞軸列。
  • \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的行張成一個子空間 \(W \subseteq \mathbb{R}^n\)，其維數為 \(\operatorname{dim}(W)=\operatorname{rk}(\boldsymbol{A})\)。透過應用高斯消元法到 \(\boldsymbol{A}^{\top}\) 可以找到 \(W\) 的一個基。
  • 對於所有的 \(\boldsymbol{A} \in \mathbb{R}^{n \times n}\)，如果且僅如果 \(\operatorname{rk}(\boldsymbol{A})=n\)，\(\boldsymbol{A}\) 是正則的（可逆的）。
  • 對於所有的 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 和所有的 \(\boldsymbol{b} \in \mathbb{R}^m\)，線性方程組 \(\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}\) 可以求解當且僅當 \(\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}(\boldsymbol{A} \mid \boldsymbol{b})\)，其中 \(\boldsymbol{A} \mid \boldsymbol{b}\) 表示增廣系統。
  • 對於 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\)，\(\boldsymbol{A x}=\mathbf{0}\) 的解空間具有維數 \(n-\operatorname{rk}(\boldsymbol{A})\)。稍後，我們將這個子空間稱為核或零空間。
  • 如果矩陣 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的秩等於相同維度矩陣的最大可能秩，則稱其具有滿秩。這意味著滿秩矩陣的秩是行數和列數中的較小者，即 \(\operatorname{rk}(\boldsymbol{A})=\min (m, n)\)。如果矩陣沒有滿秩，則稱其為秩虧損的。
例子2.18（秩）
  • \(\boldsymbol{A}=\left[\begin{array}{lll}1 & 0 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 0\end{array}\right]\)

矩陣 \(\boldsymbol{A}\) 有兩行/列是線性無關的，因此 \(\operatorname{rk}(\boldsymbol{A})=2\)。

  • \(\boldsymbol{A}=\left[\begin{array}{ccc}1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0\end{array}\right]\)。

我們使用高斯消元法來確定秩：

\[\left[\begin{array}{ccc} 1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0 \end{array}\right] \rightsquigarrow \cdots \rightsquigarrow\left[\begin{array}{ccc} 1 & 2 & 1 \\ 0 & 1 & 3 \\ 0 & 0 & 0 \end{array}\right] . \]

在這裡，我們看到線性無關的行和列的數量是 2，因此 \(\operatorname{rk}(\boldsymbol{A})=2\)。

相關文章