模型小型化：蒸餾法、剪枝

HNU-Zhou發表於2020-11-21
模型

蒸餾：主要思想是，通過大模型指導小模型學習。

剪枝：網路剪枝的主要思想就是將權重矩陣中相對“不重要”的權值剔除，然後再重新fine tune網路進行微調。

緊湊模型設計：

  • MobileNet 的 深度可分離卷積
  • shufflenet 的 逐點群卷積(pointwise group convolution)和通道混洗(channel shuffle)，前者通過分組卷積降低計算量，後者促進資訊在不同組之間流轉

相關文章