xLSTM的新聞大家可能前幾天都已經看過了，原作者提出更強的xLSTM，可以將LSTM擴充套件到數十億引數規模，我們今天就來將其與原始的lstm進行一個詳細的對比，然後再使用Pytorch實現一個簡單的xLSTM。
xLSTM
xLSTM 是對傳統 LSTM 的一種擴充套件，它透過引入新的門控機制和記憶結構來改進 LSTM，旨在提高 LSTM 在處理大規模資料時的表現和擴充套件性。以下是 xLSTM 相對於原始 LSTM 的幾個主要區別：
- 指數門控：- xLSTM 引入了指數門控機制，這是一種新的門控技術，與傳統的 sigmoid 門控不同。指數門控可以提供更動態的資訊過濾能力，有助於改善記憶和遺忘過程。
- 記憶結構的修改：- sLSTM：單一記憶體系結構中加入了新的記憶混合技術。它仍然保持標量更新，但透過改進的混合方式提高了資訊的儲存和利用效率。- mLSTM：引入矩陣記憶，這允許並行處理並改善了儲存容量。它使用了協方差更新規則，適合處理大規模並行資料，解決了 LSTM 在並行化方面的限制。
- 歸一化和穩定化技術：- 為了防止指數門控引起的數值穩定性問題，xLSTM 在門控計算中引入了額外的歸一化和穩定化步驟，例如使用最大值記錄法來維持穩定。
- 殘差塊的整合：- xLSTM 將這些改進的 LSTM 單元整合到殘差塊中，這些殘差塊被進一步堆疊形成完整的網路架構。這種設計使得 xLSTM 能夠更有效地處理複雜的序列資料。
- 效能和擴充套件性：- xLSTM 在效能上與最新的 Transformer 和狀態空間模型相媲美，尤其是在大規模應用和長序列處理方面展現出優勢。
總的來說，xLSTM 的設計目標是解決傳統 LSTM 在處理大規模資料和長序列時面臨的限制，如並行性差和儲存容量有限，透過引入新的門控機制和記憶結構，使其在現代深度學習應用中更具競爭力。
https://avoid.overfit.cn/post/84b99c27b672442ba01a836994cb8ce6