華為最新提出的時序預測Mixers，取代Transformer實現效果速度雙提升

華為在這週四釋出了一篇最新的多元時間序列預測文章，借鑑了NLP中前一陣比較熱的Mixer模型，取代了attention結構，不僅實現了效果上的提升，也大大簡化了模型結構。

1

Transformer的探討

Transformer在時間序列預測中的作用最近得到比較多的探討。在Are transformers effective for time series forecasting?（2022）這篇文章中，就利用簡單的模型對Transformer提出了挑戰。下圖為一個典型的Transformer時間序列預測模型圖。

Transformer做時間序列預測有以下幾個問題。首先，temporal dependency的提取是時序預測的關鍵，而attention機制如何實現這種資訊提取還沒有被合理得到解釋。其次，Transformer對時間特徵、position embedding有很強的依賴性，這些資訊會和序列一起進入attention模組，影響了temporal dependency的學習。最後，Transformer模型本身的計算量很大，雖然一些工作提出了attention的高效計算方法，但是除了attention外，模型中還有很多其他元件計算量也很大。

文中對比了Transformer模型和其他結構的效果差異。如果將attention換成更簡單的傅立葉變換，效果是提升的。而去掉encoder和decoder之間的attention，效果反而提升非常大。這不禁讓人們懷疑attention機制在多大程度上幫助了時間序列預測任務。

2

多元時間序列的冗餘性

多元時間序列無論是在temporal維度還是channel維度，都存在比較強的冗餘性。如下圖，在時間維度上，對一個序列進行下采樣，生成的新序列和原始序列保持著相似的趨勢性、季節性。

而在channel維度上，多元序列中不同的子序列也展示出相似的pattern。這些冗餘性都表明，大多數多元時間序列都存在低秩性，即只用一小部分資料就可以表示出近似完整的原始矩陣。利用這個性質，可以簡化多多元時間序列的建模。

3

MTS-Mixer模型

MTS-Mixer的模型結構如下，第二列是一個抽象結構，後面3列是具體的實現方法。

這三種實現方式的整體計算邏輯可以表示為如下形式，時間維度資訊提取+空間維度資訊提取+資訊融合和輸出對映。

第一種結構方法是基於self-attention，這個版本基本類似Transformer，區別在於將Transformer的decoder部分去掉了，直接改成全連線的對映。因為從之前的實驗能夠看到，去掉encoder和decoder之間的attention效果反而是提升的。

第二種結構使用的是隨機初始化的矩陣。其計算公式如下，主要是將時間維度、channel維度使用兩個矩陣進行mixup，再加上一個輸出對映矩陣。這三個矩陣都是隨機初始化的。

第三種結構採用了因子分解的思路。由於上面分析的多元時間序列矩陣存在低秩性，因此文中設計了一種基於因子分解的時間維度和channel維度的mixup。對於時間維度的冗餘性，將源時間序列拆分成多個子序列，每段子序列分別進行temporal資訊的學習，然後再按原來的順序拼接傲一起。對於channel維度的冗餘性，使用SVD分解。整個計算邏輯如下，主要就是利用全連線做時間維度和channel維度的mixup：

4

實驗結果

文中在多個資料集上對比了MTS-Mixer和眾多Transformer模型的效果，發現即使不加attention結構，採用文中提出的簡單架構，就能取得超過Transformer的效果。