深度學習 DEEP LEARNING 學習筆記（二）

• 深度學習本書的作者是伊恩·古德費洛，約書亞·本吉奧，亞倫·庫維爾
• 如果覺得我的筆記有不合適的地方，歡迎留言。

學習筆記（二）
關鍵字：1.線性相關和生成子空間 2.範數 3.特殊型別的矩陣和向量

1.線性相關和子空間
（1）線性組合：
Ax= b線性方程組有三種情況，無解，唯一解，無窮解
矩陣 A的列向量看作從原點出發的不同方向， x中的每個元素表示沿著方向走多遠。xi表示我們需要沿著第i個向量的方向走多遠：

一般而言，將這種操作稱為線性組合。一組向量的線性組合，是指每個向量乘以對應標量係數之後的和，一組向量的生成子空間是原始向量線性組合後所能抵達的點的集合。
（2）線性無關，線性相關
如果一組向量中的任意一個向量都不能表示成其他向量的線性組合，那麼這組向量稱為線性無關。反之為線性相關。

2.範數
（1）定義：
我們用稱為範數的函式來衡量向量的大小。形式上，範數定義如下：

向量 x的範數衡量從原點到點x的距離。範數是滿足下列性質的任意函式：

（2）類別

• 範數，也稱為歐幾里得範數，從原點出發到向量 x確定的點的歐幾里得範數。歐幾里得範數對每個元素的導數和整個向量相關。
• 平方 範數，也用來衡量向量的大小，比歐幾里德範數計算方便。平方範數對 x中每個元素的導數之取決於對應的元素。
• 範數，區分恰好是零的元素和非零但值很小的元素是很重要的。當問題中零和非零元素之間的差異非常重要時，通常使用範數。該範數可以簡化如下
•  範數，用來統計向量中非零元素的個數來衡量向量的大小。
•  範數，也稱為最大範數。這個範數表示向量中具有最幅值的元素的絕對值。
• Frobenius範數，用來衡量矩陣的大小。

3.特殊型別的矩陣和向量
（1）對角矩陣：只在主對角線上有非零元素，其他位置上都是零。

• 方陣：有逆矩陣
• 非方陣：無逆矩陣

（2）對稱矩陣：

（3）正交矩陣：
行向量和列向量是分別標準正交的方陣