分類任務loss不變

RH_Wang發表於2020-11-27

分類任務遇到loss不變情況,使用交叉熵損失
先說結論,原因是pytorch的交叉熵裡自帶softmax,如果在網路輸出上手動加softmax就會出錯。

現象:
在分類數為3664的分類任務中出現loss保持不變的情況,而且loss值始終為8.2063,如圖
loss_output

具體分析:找了一上午,後來突然想起來以前遇到過同樣的問題,把程式碼中網路末尾的softmax註釋掉,再訓練網路開始收斂
仍好奇為什麼loss停留在8.2063這個數,就計算了一下

相關文章