模型小型化:蒸餾法、剪枝

HNU-Zhou 發表於 2020-11-21

蒸餾:主要思想是,通過大模型指導小模型學習

剪枝:網路剪枝的主要思想就是將權重矩陣中相對“不重要”的權值剔除,然後再重新fine tune網路進行微調。

緊湊模型設計

  • MobileNet深度可分離卷積
  • shufflenet逐點群卷積(pointwise group convolution)和通道混洗(channel shuffle),前者通過分組卷積降低計算量,後者促進資訊在不同組之間流轉