模型小型化：蒸餾法、剪枝
蒸餾：主要思想是，通過大模型指導小模型學習。
剪枝：網路剪枝的主要思想就是將權重矩陣中相對“不重要”的權值剔除，然後再重新fine tune網路進行微調。
緊湊模型設計：
- MobileNet 的 深度可分離卷積
- shufflenet 的 逐點群卷積(pointwise group convolution)和通道混洗(channel shuffle)，前者通過分組卷積降低計算量，後者促進資訊在不同組之間流轉
相關文章
- 模型壓縮-模型蒸餾、模型剪枝、模型量化模型
- 模型蒸餾的程式碼模型
- 剪枝量化初完結，蒸餾學習又上場
- 知識蒸餾、輕量化模型架構、剪枝…幾種深度學習模型壓縮方法模型架構深度學習
- 祖克伯說，Llama3-8B還是太大了，量化、剪枝、蒸餾準備上！
- 英偉達玩轉剪枝、蒸餾：把Llama 3.1 8B引數減半，效能同尺寸更強
- 模型剪枝：剪枝粒度、剪枝標準、剪枝時機、剪枝頻率模型
- 知識蒸餾在推薦系統的應用
- 深度學習之雙DNN排序模型：線上知識蒸餾在愛奇藝推薦的實踐深度學習DNN排序模型
- Mamba作者新作：將Llama3蒸餾成混合線性 RNNRNN
- Meta開發System 2蒸餾技術，Llama 2對話模型任務準確率接近100%模型
- PAIRDISTILL: 用於密集檢索的成對相關性蒸餾方法AI
- 哈工大訊飛聯合實驗室釋出知識蒸餾工具TextBrewer
- EMNLP 2020 | 忒修斯之船啟發下的知識蒸餾新思路
- 基於pytorch實現模型剪枝PyTorch模型
- pytorch中中的模型剪枝方法PyTorch模型
- ACL 2018使用知識蒸餾提高基於搜尋的結構預測
- 模型壓縮-剪枝演算法詳解模型演算法
- 實踐Pytorch中的模型剪枝方法PyTorch模型
- ICCV2021 | 簡單有效的長尾視覺識別新方案：蒸餾自監督(SSD)視覺
- CVPR 2022 | 這個自蒸餾新框架新SOTA，降低了訓練成本，無需修改網路框架
- 「AutoML」如何使用強化學習進行模型剪枝？TOML強化學習模型
- 決策樹模型(3)決策樹的生成與剪枝模型
- Alpha-Beta 剪枝
- DFS剪枝最佳化策略
- 空間剪枝最佳化
- 軟體開發模型/原型法/瀑布模型/螺旋模型模型原型
- 蒙特間接蒸發冷卻系統：間接蒸發，自然冷卻，低耗節能
- NeurIPS 2024｜SparseLLM：突破性全域性剪枝技術，大語言模型稀疏化革命模型
- 3法則模型(轉載)模型
- HDU4620 Fruit Ninja Extreme(搜尋+剪枝)UIREM
- [leetcode 87 擾亂字串] [剪枝搜尋]LeetCode字串
- 實驗室儀器旋轉蒸發儀指南
- COLING24｜自適應剪枝讓多模態大模型加速2-3倍，哈工大等推出SmartTrim大模型
- 優劣解距離法Topsis模型模型
- 模型的 save() 方法無法使用佇列？模型佇列
- unity 模型無法繞自身中心旋轉Unity模型
- NLP入門之N元語法模型模型