模型小型化：蒸餾法、剪枝
蒸餾：主要思想是，通過大模型指導小模型學習。
剪枝：網路剪枝的主要思想就是將權重矩陣中相對“不重要”的權值剔除，然後再重新fine tune網路進行微調。
緊湊模型設計：
- MobileNet 的 深度可分離卷積
- shufflenet 的 逐點群卷積(pointwise group convolution)和通道混洗(channel shuffle)，前者通過分組卷積降低計算量，後者促進資訊在不同組之間流轉
相關文章
- 剪枝量化初完結，蒸餾學習又上場
- 知識蒸餾、輕量化模型架構、剪枝…幾種深度學習模型壓縮方法模型架構深度學習
- 深度學習之雙DNN排序模型：線上知識蒸餾在愛奇藝推薦的實踐深度學習DNN排序模型
- 哈工大訊飛聯合實驗室釋出知識蒸餾工具TextBrewer
- EMNLP 2020 | 忒修斯之船啟發下的知識蒸餾新思路
- 基於pytorch實現模型剪枝PyTorch模型
- ACL 2018使用知識蒸餾提高基於搜尋的結構預測
- 模型壓縮-剪枝演算法詳解模型演算法
- 實踐Pytorch中的模型剪枝方法PyTorch模型
- ICCV2021 | 簡單有效的長尾視覺識別新方案：蒸餾自監督(SSD)視覺
- CVPR 2022 | 這個自蒸餾新框架新SOTA，降低了訓練成本，無需修改網路框架
- 「AutoML」如何使用強化學習進行模型剪枝？TOML強化學習模型
- 決策樹模型(3)決策樹的生成與剪枝模型
- DFS剪枝最佳化策略
- 空間剪枝最佳化
- 軟體開發模型/原型法/瀑布模型/螺旋模型模型原型
- 蒙特間接蒸發冷卻系統：間接蒸發，自然冷卻，低耗節能
- 3法則模型(轉載)模型
- HDU4620 Fruit Ninja Extreme(搜尋+剪枝)UIREM
- COLING24｜自適應剪枝讓多模態大模型加速2-3倍，哈工大等推出SmartTrim大模型
- 實驗室儀器旋轉蒸發儀指南
- 優劣解距離法Topsis模型模型
- 模型的 save() 方法無法使用佇列？模型佇列
- unity 模型無法繞自身中心旋轉Unity模型
- NLP入門之N元語法模型模型
- 利用LSTM思想來做CNN剪枝，北大提出Gate DecoratorCNN
- 人工智慧進階-TensorFlow核心之剪枝優化人工智慧優化
- 谷歌CEO神秘“人間蒸發”導致股票下跌2%谷歌
- python_pygame_alpha-beta剪枝演算法_玩中國象棋PythonGAM演算法
- 2024.3.15 Alpha-Beta 剪枝+CF div2
- python基礎語法 - 資料儲存模型Python模型
- 一致性組織模型法（轉載）模型
- Alpha-Beta剪枝的原理的深入理解（無圖預警）
- Acwing166 數獨題解 - DFS剪枝最佳化
- 全球經濟蒸發，網際網路人該何去何從？
- 何爹瀏陽蒸菜—解決你開店的煩惱
- KANO模型：產品人必懂的需求分析法模型
- 手把手教你實現法瑪三因子模型模型