【深度學習篇】--Seq2Seq模型從初識到應用

LHBlog發表於2018-06-07

一、前述

架構:

問題:

1、壓縮會損失資訊

2、長度會影響準確率

解決辦法:

Attention機制:聚焦模式

“高解析度”聚焦在圖片的某個特定區域並以“低解析度”,感知影象的周邊區域的模式。通過大量實驗證明,將attention機制應用在機器翻譯,摘要生成,閱讀理解等問題上,取得的成效顯著。

比如翻譯:“”知識”只是聚焦前兩個字。

 每個C取不同的概率和值:

 

Bucket機制:

正常情況要對所有句子進行補全,Bucket可以先分組,再計算。比如第一組計算輸入[0-10],輸出[0-10]。

 

相關文章