神經網路之所以強大的兩個原因 - tunguz

banq發表於2022-06-25
神經網路

讓神經網路如此強大的兩個最重要的特性是：
  1. 可微分性Differentiability
  2. 組合性Compositionality


可微分性使得使用梯度下降進行最佳化成為可能，梯度下降比大多數其他數字最佳化方法快幾個數量級。
另一方面，組合性意味著我們可以利用鏈式規則進行微分，並將潛在的難以處理的函式分解為可管理的小單元，我們可以一次處理一個。

然而，在大多數情況下，神經網路架構本身需要被*設計*。最佳化這種設計是完全不可行的，事實上，這也是大多數神經網路研究的重點所在。
另一方面，梯度提升演算法將提升集合法與梯度下降法結合起來，並使用差分方法構建整個ML演算法 "架構"，對超引數的調整非常少。

IMHO，從純概念的角度來看，這種方法非常吸引人。不過由於其概念上的簡單性，我們在基本演算法上似乎沒有什麼可以改進的地方。

但我相信，對於梯度提升方法所能做到的，我們還只是觸及到了表面。我相信，僅僅幾個簡單的改進就可以使梯度提升法比目前更加強大。

 

相關文章