機器之心編輯,作者:思源、劉曉坤。
MIT 教授 Gilbert Strang 最新書籍《線性代數與資料學習》(Linear Algebra and Learning from Data)將在 1 月中旬發行。這一本書為機器學習提供了很多數學基礎,它同時也提供了深度學習一些基本概念。可以說藉助這本書,我們能從數學的角度來理解流行的模型。
書籍主頁:math.mit.edu/~gs/learnin…
這本書的目的是解釋資料科學和機器學習所依賴的數學:線性代數、最優化、概率論和統計學。因為在機器學習中,學習函式中的權重會以矩陣形式表示,這些權重通過隨機梯度下降優化,而「隨機」一詞提示訓練收斂是概率性的。此外,概率論中的大數定律被擴充套件到了大函式定律:如果架構設計良好並且引數計算良好,則有很高的概率能成功收斂。
請注意這不是一本關於計算或編碼或軟體的書。已經有很多書籍對這些方面做了很好的介紹,比如《Hands-On Machine Learning》;還有很多 TensorFlow、Keras、MathWorks 和 Caffe 等的線上資源,也能提供很多幫助。
線性代數有眾多美妙的矩陣變體:對稱矩陣、正交矩陣、三角矩陣、Banded 矩陣、轉置矩陣和正定矩陣等等。在 Gilbert 的教學經驗中,他認為正定對稱矩陣 S 是非常美妙的東西。它們有正的特徵值λ和正交的特徵向量 q,它們的線性組合可以將秩為 1 的簡單對映 qq^T 與對應特徵值重構為正定矩陣 S,即:
如果 λ_1>=λ_2>=...,那麼上式特徵值λ_1 以及對應的特徵向量組成的第一個分量就是 S 最具資訊的部分。對於一個簡單的協方差矩陣,這一部分就對應著對大的方差,這也是降維演算法 PCA 最核心的思想。
此外,在書籍主頁中,作者還提供了試讀的樣章,包括深度學習、書籍前言、目錄、矩陣初等變換、矩陣乘法和其它一些從矩陣看卷積網路等新知識。作者表明書籍主頁會持續更新,包括印刷計劃和全本開放閱讀等。
William Gilbert Strang
William Gilbert Strang,美國數學家,在有限元理論、變分法、小波分析和線性代數等方面皆有研究貢獻。他對數學教育做出了許多貢獻,包括出版七本數學教科書和專著。斯特朗現任麻省理工學院數學系 MathWorks 講座教授。主要講授課程為線性代數入門(Introduction to Linear Algebra,18.06)和計算科學與工程(Computational Science and Engineering,18.085),這些課程都可在麻省理工學院開放式課程中免費學習。
以下是這本書的目錄: