Attention的基本原理與模型結構

我們嘗試用人記憶和理解事物的方式來思考人工智慧：

為什麼我們需要引入這種Attention機制，以seq2seq為例：

傳統的seq2seq可以理解為讓RNN從左往右看一遍要Encode的序列，並將記憶不斷存入隱藏層。但是隱藏層的維度是有限的，就像人類的記憶力有限，當序列很長時，讀到最後一個word時很可能已經對開頭的word發生遺忘，要以看一遍的記憶完整複述整個序列或者對序列做翻譯等操作，是存在侷限的。

因此我們可以藉助人類產生工作記憶的方式，在decode時計算當前隱藏層和之前序列隱藏層的關聯度，或者說當前這個decoder模組要關注的encoder隱藏層有哪些，要有多少關注度。

decoder端的隱藏層$z$和encoder端隱藏層$h$的關聯度$\alpha$計算可以有幾種常見的方法：

1. 利用餘弦相似度計算 $cos(z,h)$
2. 以[$z,h$]為輸入，$\alpha$為目標輸入訓練全連線層
3. $\alpha =h^{T}Wz$，$W$是可訓練引數

求得每一個decoder隱藏層$z_0,z_1...z_i,...z_n$和encoder端隱藏層$h_0,h_1,...,h_j,...h_m$的關聯度${\alpha }_i^j$，並對其做softmax歸一化，得到$\widehat{{\alpha }_0},\widehat{{\alpha }_1}...\widehat{{\alpha }_n}$,$c_i={\sum }_k\widehat{{\alpha }_i^k}{h}^k$

$c_i和z_i$作為decoder端RNN的輸入和隱藏層