3.0 常見operators運算元

橘子葡萄火龙果發表於2024-04-16

1.1 卷積相關

  1)卷積  2)反摺積 (只能做到近似恢復,無法完全恢復原影像)

參考:https://blog.csdn.net/qq_27261889/article/details/86304061

1.2 線性變換相關

  1)Linear

  2)矩陣相乘類:【mm:二維矩陣相乘;bmm:三維矩陣相乘;matmul:多維矩陣相乘, 只要兩個矩陣能夠broadcast即可。】

1.3 標準化、歸一化相關

  區別在於:計算 均值&方差 所使用得資料範圍不同。

  1)Batch_Norm,cv領域;2)Layer_Norm,nlp領域;3)Instance_Norm;4)Group_Norm。

  5)Switchable_Norm,結合BN和LN:E = a1*BN + a2*LN,δ = b1*BN + b2*LN。

BN和LN的區別:

  

1.4 卷積相關

1.5 卷積相關

1.6 卷積相關

相關文章