LR模型相關知識點

仰望夏日發表於2020-12-27
模型

LR模型相關知識點

  1. LR歸一化問題，什麼情況可以不歸一化，什麼情況必須歸一化
  2. 為什麼提到LR損失函式要能知道交叉熵，為什麼是它，以它為損失函式在優化的是一個什麼東西，知道它和KL散度以及相對熵的關係
  3. 提到LR的求解方法，比如SGD，知道SGD和BGD的區別，知道不同的GD方法有什麼區別和聯絡，二階優化演算法知道什麼，對比offline learning和online learning的區別
  4. 提到調參，知道模型不同超引數的含義，以及給定一個特定情況，大概要調整哪些引數，怎麼調整
  5. 提到LR的正則，知道l1、l2的原理，幾何解釋和概率解釋
  6. LR的分散式實現邏輯是怎麼樣的，資料並行和模型並行的區別，P-S架構大概是怎麼一回事
  7. LR作為一個線性模型，如何擬合非線性情況？特徵側比如離散化，交叉組合，模型比如引入kernel，又可以推廣到FM等model上

相關文章