ML學習路線

已經大致瞭解這個領域所用到的知識，根據網上的參考進行1.0階段的學習，看了前面的知道我對PGM特別感興趣啊，所以感謝夕小瑤(wx:xixiaoyaoQAQ)按照她的提供的知識結構給自己定個計劃。 已經完成的都會帶有我在學習過程中見到比較好的資料，或者我自己總的，這樣減少大家在學習過程中找資料的成本

第一階段(六、七月)：基本模型

輔助用視訊Ng的courses《machine learning》，臺灣國立大學林老師《機器學習基石》、《資料探勘導論》第4、5章

• 感知機(Perceptron)(已完成)
• 線性迴歸模型(Linear regression model) (已完成)
• 邏輯迴歸模型(Logistic regression model) （已完成）
• 淺層神經網路(Neural Network) (已完成)
• 支援向量機(Support Vector Machine)(已完成)
• 交叉驗證(Cross Validation)[[1]] [2] [3] [4](已完成)
• 聚類[1] (已完成)
  • K-Means Model [1] [2]
• 內積與對映，線性相關/無關，特徵值/特徵向量、特徵向量、特徵分解、矩陣的跡、譜定理、奇異值分解(SVD)

第二階段（八月~）：最優化(和第一階段部分是重合，這些會加上程式碼實現)

複習《概率論與數理統計》、理解《Deep Learning》中的4.3節和4.4節，《Numerical Optimazation》、《最優化理論與方法》袁亞湘，孫文瑜、《統計學習方法》、《資料 挖掘導論》、《機器學習實戰》、《智慧優化方法》

• 一階無約束優化演算法
  • 梯度下降法（步長的確定方法、線搜尋法，信賴域法）
• 二階無約束優化演算法
  • 牛頓法
  • 共軛梯度法
  • 擬牛頓法
• 約束優化演算法
  • 線性規劃(概念與應用、單純形法、內點法）
  • 二次規劃(概念與應用、對偶法、積極集法）
  • 拉格朗日乘子法的簡單認識
• 感知機模型
• K近鄰模型
• 樸素貝葉斯模型
• 決策樹模型
• 支援向量機模型
• 整合分類器
  • Bagging
  • Boosting
  • Random Forest
• 遺傳演算法
• 模擬退火
• 禁忌搜尋演算法
• 蟻群演算法
• 粒子群優化演算法
• LDA/PCA
• SVD

第三階段：模式識別與深度學習

• 貝葉斯決策（《模式分類》）
• 引數估計
• 非引數方法
• 線性判別函式
• 淺層神經網路
  • delta方法
  • BP演算法及其優化
  • RBF網路
• 深度神經網路（DL中文版書籍）
  • Hopfield網路
  • 玻爾茲曼機
  • RBM
  • DBN
  • DBM
  • CNN
  • Autoencoder
  • RNN
  • LSTM
• 聚類
  • 高斯混合密度
  • K-means
  • 層次聚類
• 決策樹與隨機森林
• 特徵提取與特徵選擇

第四階段：

應該是各種框架和工程，比賽吧，哈哈，到這個階段就有自己的方向，現在自己也不知道幹啥，哈哈哈

貫穿始終：

知識點：(每一週深入學習一種網路)
《統計學習方法》、《Deep Learning》、《模式分類》

• 前饋神經網路

• 自編碼器(Auto-Encoder)遞迴神經網路(Recursive NN) / 迴圈神經網路(RNN)/ 卷積神經網路(CNN) / 神經張量網路 (NTN)

• 長短時記憶網路(LSTM) / 卷積長短時神經網路(convLSTM) / 張量遞迴神經網路(MV-RNN)/遞迴神經張量網路(RNTN)

• 受限波爾茲曼機(RBM) / 玻爾茲曼機

• 概率圖模型

• 有向圖模型->貝葉斯網路

• 無向圖模型->馬爾科夫隨機場->條件隨機場