1.1 卷積相關
1)卷積 2)反摺積 (只能做到近似恢復,無法完全恢復原影像)
參考:https://blog.csdn.net/qq_27261889/article/details/86304061
1.2 線性變換相關
1)Linear
2)矩陣相乘類:【mm:二維矩陣相乘;bmm:三維矩陣相乘;matmul:多維矩陣相乘, 只要兩個矩陣能夠broadcast即可。】
1.3 標準化、歸一化相關
區別在於:計算 均值&方差 所使用得資料範圍不同。
1)Batch_Norm,cv領域;2)Layer_Norm,nlp領域;3)Instance_Norm;4)Group_Norm。
5)Switchable_Norm,結合BN和LN:E = a1*BN + a2*LN,δ = b1*BN + b2*LN。
BN和LN的區別: