Oct.29 成為不朽,然後死去

leefly072發表於2020-10-29

1.深度學習的基本流程是

設計神經網路結構,形成計算圖,選擇一個合適的損失函式,使用損失函式衡量預測值與真實值之間的差異。具體到一輪計算:我們需要將一個批次的資料餵給神經網路,神經網路前向傳播(Forward),求得損失函式的值;然後是反向傳播(Back Propagation)過程:求得損失函式對模型各引數的導數,利用梯度下降法來更新模型各引數。深度學習框架的最重要的一項功能就是幫我們完成了求導的過程。

2。關於微積分的幾點思考

在這裡插入圖片描述

3.微分,差分,變分

在這裡插入圖片描述
其中變分法在NLP中LDA中也有應用和設計。

4.最小二乘法

基於 均方誤差最小化來進行模型求解的方法成為“最小二乘法”。

相關文章