改變LoRA的初始化方式，北大新方法PiSSA顯著提升微調效果

机器之心發表於2024-04-12

隨著大模型的引數量日益增長，微調整個模型的開銷逐漸變得難以接受。

為此，北京大學的研究團隊提出了一種名為 PiSSA 的引數高效微調方法，在主流資料集上都超過了目前廣泛使用的 LoRA 的微調效果。

圖片

  • 論文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models

  • 論文連結: https://arxiv.org/pdf/2404.02948.pdf

  • 程式碼連結: https://github.com/GraphPKU/PiSSA

如圖 1 所示，PiSSA (圖 1c) 在模型架構上和 LoRA [1] 完全一致 (圖 1b)，只是初始化 Adapter 的方式不同。LoRA 使用高斯噪聲初始化 A，使用 0 初始化 B。而 PiSSA 使用主奇異值和奇異向量 (Principal Singular values and Singular vectors) 來初始化 Adapter 來初始化 A 和 B。

圖片

圖 1）從左到右依次為全引數微調、LoRA、以及 PiSSA。藍色代表凍結的引數，橘黃色代表可訓練引數及它們的初始化方式。相比全引數微調，LoRA 和 PiSSA 都大幅節省了可訓練引數量。對於相同輸入，這三種方法的初始輸出完全相等。然而，PiSSA 凍結模型的次要成分，直接微調主成分（前 r 個奇異值和奇異向量）；而 LoRA 可看作凍結模型的主要部分，而去微調 noise 部分。

在不同的任務上對比 PiSSA、LoRA 的微調效果

研究團隊使用 llama 2-7B、Mistral-7B 以及 Gemma-7B 作為基礎模型，透過微調提升它們的數學、程式碼和對話能力。其中包括：在 MetaMathQA 上訓練，在 GSM8K 和 MATH 資料集上驗證模型的數學能力；在 CodeFeedBack 上訓練，在 HumanEval 和 MBPP 資料集上驗證模型的程式碼能力；在 WizardLM-Evol-Instruct 上訓練，在 MT-Bench 上驗證模型的對話能力。從下表的實驗結果可以看出，使用相同規模的可訓練引數，PiSSA 的微調效果顯著超越了 LoRA，甚至超越了全引數微調。

圖片

對比 PiSSA、LoRA 在不同的可訓練引數量下微調的效果

研究團隊在數學任務上對模型的可訓練引數量和效果之間的關係進行消融實驗。從圖 2.1 發現在訓練初期，PiSSA 的訓練 loss 下降特別快，而 LoRA 存在不下降，甚至略有上升的階段。此外，PiSSA 的訓練 loss 全程低於 LoRA，說明對訓練集擬合得更好；從圖 2.2、2.3、2.4 可以看出在每種 setting 下，PiSSA 的 loss 始終比 LoRA 低，準確率始終比 LoRA 高，PiSSA 能夠使用更少的可訓練引數追趕上全引數微調的效果。

圖片

圖 2.1） 當秩為 1 時 PiSSA、LoRA 在訓練過程中的 loss。每幅圖的右上角是前 100 步迭代放大的曲線。其中 PiSSA 用橙色線表示，LoRA 用藍色線表示，全引數微呼叫綠線展示了最終的 loss 作為參考。秩為 [2,4,8,16,32,64,128] 時的現象與此一致，詳見文章附錄。

圖片

圖 2.2）使用秩為 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 的最終 training loss。

圖片

圖 2.3）使用秩為 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 微調的模型在 GSM8K 上的準確率。

圖片

圖 2.4）使用秩為 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 微調的模型在 MATH 上的準確率。

PiSSA 方法詳解

受到 Intrinsic SAID [2]“預訓練大模型引數具有低秩性” 的啟發，PiSSA 對預訓練模型的引數矩陣圖片進行奇異值分解，其中前 r 個奇異值和奇異向量用來初始化介面卡 (adapter) 的兩個矩陣圖片和圖片，圖片；剩餘的奇異值和奇異向量用來構造殘差矩陣圖片，使得圖片。因此，介面卡中的引數包含了模型的核心引數，而殘差矩陣中的引數是修正引數。透過微調引數量較小的核心介面卡 A、B，凍結引數量較大的殘差矩陣圖片，就達成了用很少的引數近似全引數微調的效果。

儘管同樣受到 Intrinsic SAID [1] 啟發，PiSSA 和 LoRA 背後的原理卻截然不同。

LoRA 認為大模型微調前後矩陣的變化 △W 具有很低的本徵秩 r，因此透過圖片和圖片相乘得到的低秩矩陣來模擬模型的變化 △W。初始階段，LoRA 使用高斯噪聲初始化 A，使用 0 初始化 B，因此圖片，以此保證模型初始能力沒有變化，並微調 A 和 B 實現對 W 進行更新。與此相比，PiSSA 不關心 △W，而是認為 W 具有很低的本徵秩 r。因此直接對 W 進行奇異值分解，分解成主成分 A、B，以及殘差項圖片，使得圖片。假設 W 的奇異值分解為圖片，A、B 使用 SVD 分解後奇異值最大的 r 個奇異值、奇異向量進行初始化：

圖片

殘差矩陣使用其餘的奇異值、奇異向量進行初始化：

圖片

PiSSA 直接對 W 的低秩主成分 A、B 進行微調，凍結次要的修正項。相比 LoRA 用高斯噪聲以及 0 初始化介面卡引數、凍結核心模型引數，PiSSA 收斂更快、效果更好。

PiSSA 的發音類似 “披薩”(pizza)--- 如果把整個大模型類比為一個完整的披薩，PiSSA 切掉其中一角，而且是餡料最豐富的一角（主奇異值、奇異向量），重新烘焙（在下游任務上微調）成喜歡的口味。

由於 PiSSA 採用了和 LoRA 完全相同的架構，其可以作為 LoRA 的一種可選初始化方式，在 peft 包中很方便的進行修改和呼叫 (如以下程式碼所示)。相同的架構也使得 PiSSA 繼承了大多數 LoRA 的優點，如：對殘差模型使用 4bit 量化 [3]，減小訓練開銷；微調完成後介面卡能合併進殘差模型，不改變推理過程的模型架構；無需分享完整模型引數，只需要分享引數量很少的 PiSSA 模組，使用者直接載入 PiSSA 模組就能自動進行奇異值分解以及賦值；一個模型可以同時使用多個 PiSSA 模組等等。一些對 LoRA 方法的改進，也能與 PiSSA 進行結合：比如不固定每層的秩，透過學習找到最佳的秩 [4]；用 PiSSA 指導的更新 [5]，從而突破秩的限制等等。

# 在 peft 包中 LoRA 的初始化方式後面增加了一種 PiSSA 初始化選項：

if use_lora:

  nn.init.normal_(self.lora_A.weight, std=1 /self.r)

  nn.init.zeros_(self.lora_B.weight) 

elif use_pissa:

  Ur, Sr, Vr = svd_lowrank (self.base_layer.weight, self.r, niter=4) 

  # 注意：由於 self.base_layer.weight 的維度是 (out_channel,in_channel, 所以 AB 的順序相比圖示顛倒了一下)

  self.lora_A.weight = torch.diag (torch.sqrt (Sr)) @ Vh.t ()

  self.lora_B.weight = Ur @ torch.diag (torch.sqrt (Sr)) 

  self.base_layer.weight = self.base_layer.weight - self.lora_B.weight @ self.lora_A.weight

對比高中低奇異值微調效果實驗

為了驗證使用不同大小奇異值、奇異向量初始化介面卡對模型的影響，研究人員分別使用高、中、低奇異值初始化 LLaMA 2-7B、Mistral-7B-v0.1、Gemma-7B 的介面卡，然後在 MetaMathQA 資料集上進行微調，實驗結果展示在圖 3 中。從圖中可以看出，使用主要奇異值初始化的方法訓練損失最小，在 GSM8K 和 MATH 驗證集上的準確率更高。這一現象驗證了微調主要奇異值、奇異向量的有效性。

圖片

圖 3）從左到右依次為訓練 loss、在 GSM8K 上的準確率、在 MATH 上的準確率。其中藍色表示最大奇異值、橙色表示中等奇異值、綠色表示最小奇異值。

快速奇異值分解

PiSSA 繼承了 LoRA 的優點，使用起來方便，效果超越 LoRA。代價是在初始化階段，需要對模型進行奇異值分解。雖然僅需要在初始化時分解一次，但是仍然可能需要幾分鐘甚至幾十分鐘的開銷。因此，研究人員使用一種快速奇異值分解 [6] 方法替代標準的 SVD 分解，透過下表的實驗可以看出，僅需幾秒鐘的時間，就能逼近標準 SVD 分解的訓練集擬合效果。其中 Niter 表示迭代次數，Niter 越大，時間越久但是誤差越小。Niter = ∞表示標準 SVD。表格中的平均誤差表示快速奇異值分解與標準 SVD 得到的 A、B 之間的平均 L_1 距離。

圖片

總結與展望

本工作對預訓練模型的權重進行奇異值分解，透過將其中最重要的引數用於初始化一個名為 PiSSA 的介面卡，微調這個介面卡來近似微調完整模型的效果。實驗表明，PiSSA 比 LoRA 收斂更快，最終效果更好，唯一的代價僅是需要幾秒的 SVD 初始化過程。

那麼，您願意為了更好的訓練效果，多花幾秒鐘時間，一鍵更改 LoRA 的初始化為 PiSSA 嗎？

參考文獻

[1] LoRA: Low-Rank Adaptation of Large Language Models

[2] Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning

[3] QLoRA: Efficient Finetuning of Quantized LLMs

[4] AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

[5] Delta-LoRA: Fine-Tuning High-Rank Parameters with the Delta of Low-Rank Matrices

[6] Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions

相關文章