位元組豆包大模型團隊突破殘差連線侷限！預訓練收斂最快加速80%

位元組跳動豆包大模型團隊於近日提出超連線（Hyper-Connections），一種簡單有效的殘差連線替代方案。面向殘差連線的主要變體的侷限問題，超連線可透過動態調整不同層之間的連線權重，解決梯度消失和表示崩潰（Representation Collapse）之間的權衡困境。在 Dense 模型和 MoE 模型預訓練中，超連線方案展示出顯著的效能提升效果，使收斂速度最高可加速 80%。

• 論文標題：Hyper-Connections
• 論文連結：https://arxiv.org/pdf/2409.19606

• Pre-Norm：在每個殘差塊之前進行歸一化操作，可有效減少梯度消失問題。然而，Pre-Norm 在較深網路中容易導致表示崩潰，即深層隱藏表示過於相似，從而削弱了模型學習能力。
• Post-Norm：在殘差塊之後進行歸一化操作，有助於減少表示崩潰問題，但也重新引入梯度消失問題。在 LLM 中，通常不會採用此方法。

• 深度連線（Depth-Connections）：這些連線類似於殘差連線，只為輸入與輸出之間的連線分配權重，允許網路學習不同層之間的連線強度。
• 寬度連線（Width-Connections）：這些連線使得每一層多個隱藏向量之間可進行資訊交換，從而提高模型表示能力。

首先，考慮第 k 層的輸入隱藏向量，網路的初始輸入為，並將其複製 n 次，形成初始的超隱藏矩陣（Hyper Hidden Matrix）：

這裡，n 稱為擴充套件率（Expansion Rate）。在第 k 層，輸入是上一層的超隱藏矩陣，即：

考慮一層網路，它可能是 Transformer 中的 attention 層或者是 FFN 層。超連線的輸出 可以簡單地表示為：

也就是說，用 作為權重對輸入 進行加權求和，得到當前層的輸入：

同時，用於將 對映到殘差超隱藏矩陣，表示如下：

超連線矩陣 的元素可以動態依賴於輸入 ，動態超連線的矩陣表示為：

同樣，給定層 和輸入，可以得到動態超連線的輸出：

前歸一化和後歸一化的殘差連線可以表示為以下擴充套件率為 的超連線矩陣：

其中，和 分別表示神經網路層輸入和輸出的標準差，表示它們之間的協方差。

對於 Pre-Norm，其超連線矩陣是一個 的矩陣，右下三角部分填充為 1，其餘部分為佔位符 0。對於 Post-Norm，權重依賴於輸入和輸出的方差及協方差，形成一個 的矩陣。因此，它們的超連線矩陣是不可訓練的。

而本工作提出的方法的超連線矩陣是 矩陣，且權重是可訓練的，甚至可以基於輸入進行動態預測。