LoRA可以說是針對特定任務高效訓練大型語言模型的重大突破。它被廣泛應用於許多應用中。在本文中，我們將解釋LoRA本身的基本概念，然後介紹一些以不同的方式改進LoRA的功能的變體，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA。
Lora
低秩自適應(Low-Rank adaptation, LoRA)[1]是目前廣泛用於訓練大型語言模型(large language models, llm)的一種技術。大型語言模型可以為我們生成各種內容，但對於解決許多問題來說，我們還是希望在給定的下游任務上訓練LLM，例如對句子進行分類或生成給定問題的答案。但是如果直接使用微調，這就需要要訓練有數百萬到數十億個引數的大模型。
https://avoid.overfit.cn/post/76413f0a06ec48b08186b28f88da206f