用 FlexAttention 嘗試一種新的注意力模式。
理論上，注意力機制就是你所需要的一切。然而在實際操作中，我們還需要最佳化像 FlashAttention 這樣的注意力機制的實現。儘管這些融合的注意力機制大大提高了效能，且支援長上下文，但這種效率的提升也伴隨著靈活性的喪失。對於機器學習研究人員來說，這就像是一種「軟體彩票」—— 如果你的注意力變體不適合現有的最佳化核心，你將面臨執行緩慢和 CUDA 記憶體不足的困境。 一些注意力變體包括因果注意力、相對位置嵌入、Alibi、滑動視窗注意力、PrefixLM、文件掩碼、不規則張量、PagedAttention 等。更糟糕的是，人們通常希望將這些變體組合在一起！比如滑動視窗注意力 + 文件掩碼 + 因果注意力 + 上下文並行，又比如 PagedAttention + 滑動視窗的組合。下圖左側代表了當今的現狀 —— 一些掩碼 + 偏置 + 設定的組合已經有現成的核心實現。然而，各種選項的新增會導致設定呈指數級增長。更糟糕的是，這種方式不會支援新的注意力變體。 為了徹底地解決這個超立方體問題，PyTorch 團隊引入了 FlexAttention，一個新的 PyTorch API。- FlexAttention 是一個靈活的 API，允許使用者使用幾行慣用的 PyTorch 程式碼就能實現多個注意力變體。
- 團隊人員透過 torch.compile 將其降低到一個融合的 FlashAttention 核心中 ，生成了一個不會佔用額外記憶體且效能可與手寫核心相媲美的 FlashAttention 核心。
- 利用 PyTorch 的自動求導機制自動生成反向傳播。
- 最後，PyTorch 團隊還可以利用注意力掩碼中的稀疏性，從而顯著改善標準注意力實現。
FlashAttention 1-3 版本的參與者 Tri Dao 對這項研究進行了轉發並評論：這項研究使得很多技術都融合在一起了。FlexAttention 形式如下，其透過接受使用者定義的函式 score_mod 來解決上述問題。
程式碼形式：此函式允許使用者在 softmax 之前修改注意力分數。研究人員發現，該函式最終足以滿足大多數使用者對注意力變體的需求。for b in range (batch_size):
for h in range (num_heads):
for q_idx in range (sequence_length):
for kv_idx in range (sequence_length):
modified_scores [b, h, q_idx, kv_idx] = score_mod (scores [b, h, q_idx, kv_idx], b, h, q_idx, kv_idx)
在這種情況下，score_mod 無操作，它接受分數作為輸入，然後原樣返回它們。一種常見的注意力變體是相對位置編碼。相對位置編碼不是對查詢和鍵中的絕對距離進行編碼，而是根據查詢和鍵之間的距離調整分數。需要注意的是，與典型實現不同，這不需要具體化 SxS 張量。相反，FlexAttention 會在核心中動態計算偏差值，從而顯著提高記憶體和效能。Soft-capping 是 Gemma 2 和 Grok-1 使用的一種技術，在 FlexAttention 中，它的形式是這樣的：儘管雙向注意力很簡單，但在論文《Attention is All You Need》，以及其他的 LLM 中，它們的設定都是僅解碼器的注意力，其中每個 token 只能關注它之前的 token。如果使用者使用 score_mod API ，可以將其表示為： 圖源：https://arxiv.org/abs/2310.06825Mistral 一直在推廣滑動視窗注意力（也稱為區域性注意力），它允許查詢 token 僅關注最近的 1024 個 token，通常與因果注意力一起使用。研究者對帶有滑動視窗掩碼的 F.scaled_dot_product_attention 以及帶有因果掩碼的 FA2 進行基準測試。結果表明，FlexAttention 不僅明顯快於 F.scaled_dot_product_attention，也明顯快於帶有因果掩碼的 FA2。總體而言，FlexAttention 的效能幾乎與手寫的 Triton 核心一樣好。然而，由於 FlexAttention 具有通用性，因此會遭受輕微的效能損失。例如，使用者必須承受一些額外的延遲。FlexAttention 在前向傳播中實現了 FlashAttention2 效能的 90%，在反向傳播中實現了 85%。FlexAttention 目前正在使用一種確定性演算法，該演算法比 FAv2 重新計算了更多的中間體，研究者計劃改進 FlexAttention 的反向演算法，來縮小這一差距！參考連結：https://pytorch.org/blog/flexattention/