翻譯 | AI科技大本營（rgznai100）
Hinton大神獨步天下的人工智慧課程——多倫多大學“神經網路與機器學習導論”，2017年課程表上線了。
你可能沒學過這門課，但瞭解機器學習的你一定有聽過這門課的大名。今年冬季學期，這門課將交由多倫多大學助理教授Roger Grosse主講。
如果你還不知道這位教授，請一定要了解一下他在Google Brain實習的本科學生Aidan Gomez，AI100對此做過專門報導：牛！他本科沒畢業就進入Google Brain，還發表了最火的深度學習頂級論文… 你呢？
閒話少說，我們直接來看 CSC321 “Intro to Neural Networks and Machine Learning” 的課程表：
http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/
第1課：導論
-
什麼是機器學習，什麼是神經網路，它們能夠做什麼？
-
監督式學習、非監督式學習、以及強化學習呢？
-
本課程的組織安排。
第2課：線性迴歸
-
線性迴歸，一種監督式學習模型，通過它你可以預測得到一個目標值。
-
以最優化問題的形式呈現它，並且通過直接求解方程或者梯度下降演算法進行求解。
-
向量。特徵對映和多項式迴歸。泛化：過擬合、欠擬合、驗證。
第3課：線性分類
-
二元線性分類。線性分類器視覺化。感知器演算法。線性分類器的侷限性。
第4課：分類器學習
-
二元分類器損失函式比較。
-
交叉熵損失、Logistic啟用函式、Logistic迴歸。
-
Hinge 損失。多向分類。凸損失函式。梯度檢驗。
第5課：多層感知機
-
多層感知機。啟用函式比較。
-
把深度神經網路視為函式和特徵學習。
-
線性神經網路的侷限性和非線性網路的普適性。
第6課：反向傳播演算法
-
反向傳播演算法，一種用於計算梯度的方式，在整個課程中我們都會用到它。
第7課：優化
-
如何使用反向傳播演算法得到的梯度。
-
損失函式特徵：區域性最優解，鞍點，平頂，低谷。
-
隨機梯度下降演算法和momentum演算法。
第8課：自動微分法
-
由助理教授David Duvenaud授課
第9課：泛化
-
偏差/方差分解，資料增強，限制模型複雜度，提起結束，權重衰減，整合演算法，隨機正則化，超引數優化。
第10課：分散式表徵
-
語言模型，n-gram模型，神經網路語言模型（一種分散式表徵），skip-grams （另一種分散式表徵）
第11課：卷積神經網路
-
卷積操作。卷積層和池化層。等變異數和不變性。
-
卷積神經網路的反向傳播演算法規則。
第12課：影像分類
-
卷積神經網路架構在手寫數字和物體分類方面的應用。
-
卷積神經網路大小的測量。
第13課：玩轉卷積網路
-
卷積神經網路視覺化：導向型反向傳播演算法，輸入資料梯度下降。
-
Deep Dream。神經網路風格遷移。
第14課：遞迴神經網路
-
遞迴神經網路。時間軸上的反向傳播。
-
遞迴神經網路在語言模型和機器翻譯中的應用。
第15課：梯度爆炸和消失
-
為什麼遞迴神經網路梯度會爆炸或者消失，從兩個角度進行分析：第一，反向傳播機制；第二，遞迴神經網路計算的函式。
-
對應的措施：梯度裁剪、輸入反轉、LSTM
第16課：ResNet與Attention
-
深度殘差網路。
-
基於Attention模型在機器翻譯和字幕生成方面的應用。
-
神經網路圖靈機。
第17課：學習概率模型
-
最大似然估計。貝葉斯引數估計基礎和最大化後驗估計。
第18課：混合模型
-
K-means。混合模型：後驗推斷和引數學習
第19課：玻爾茲曼機
-
玻爾茲曼機：定義；邊緣和條件概率；引數學習。受限玻爾茲曼機。
第20課：自編碼機
-
主成分分析；自編碼機；逐層訓練；將自編碼機應用於檔案和影像的獲取
第21課：貝葉斯超引數優化
-
貝葉斯線性迴歸；貝葉斯優化
第22課：對抗學習
-
對抗學習案例；生成式對抗網路（GANs）
第23課：圍棋
-
“AlphaGo人機對戰”
怎麼樣，看到最後一節AlphaGo有沒有眼前一亮的感覺？這就是緊跟技術發展的國外課程，跟國內不一樣的地方。
當然，如果你還是懷念Hinton大神的親自講授，你總是可以找到他的Coursera頁面：https://www.coursera.org/learn/neural-networks