預告 | NIPS 2017線上分享：用於序列生成的推敲網路

微軟研究院AI頭條發表於2017-11-28

mmbizgif?wxfrom=5&wx_lazy=1


編者按：上一期NIPS 2017優秀論文分享活動中，中國科學技術大學-微軟聯合培養博士生夏應策詳細講解了一篇關於神經機器翻譯的NIPS入選論文。這次，應邀參加分享活動的是中山大學-微軟亞洲研究院聯合培養博士吳酈軍，分享主題為“得句自斟酌：用於序列生成的推敲網路”。


活動日期：北京時間 11 月 30 日 20:00-21:00

演講主題：得句自斟酌：用於序列生成的推敲網路


主講人介紹


640?wx_fmt=png&wxfrom=5&wx_lazy=1

吳酈軍，博士三年級，現就讀於中山大學-微軟亞洲研究院聯合培養博士班，研究方向為機器學習、神經機器翻譯、強化學習，目前在微軟亞洲研究院機器學習組學習。


論文摘要


編碼器-解碼器框架在許多序列生成任務中都實現了非常好的效能，包括機器翻譯、自動文字摘要、對話系統和影象描述等。這樣的框架在解碼和生成序列的過程中只採用一次（one-pass）正向傳播過程，因此缺乏推敲（deliberation）的過程：即生成的序列直接作為最終的輸出而沒有進一步打磨的過程。然而推敲是人們在日常生活中的一種常見行為，正如我們在閱讀新聞和寫論文/文章/書籍一樣。在該研究中，我們將推敲過程加入到了編碼器-解碼器框架中，並提出了用於序列生成的推敲網路（Deliberation networks）。推敲網路具有兩階段解碼器，其中第一階段解碼器用於解碼生成原始序列，第二階段解碼器通過推敲的過程打磨和潤色原始語句。由於第二階段推敲解碼器具有應該生成什麼樣的語句這一全域性資訊，因此它能通過從第一階段的原始語句中觀察未來的單詞而產生更好的序列。神經機器翻譯和自動文字摘要的實驗證明了我們所提出推敲網路的有效性。在 WMT 2014 英語到法語間的翻譯任務中，我們的模型實現了 41.5 的 BLEU 分值，即當前最優的 BLEU 分值。

論文地址


http://papers.nips.cc/paper/6775-deliberation-networks-sequence-generation-beyond-one-pass-decoding.pdf 


參與方式


線上分享將在微軟研究院AI頭條讀者群中進行。加群方式：長按掃描下方二維碼加“微軟亞洲研究院”為好友，備註暗號：NIPS，成功後將由小助手統一拉入群聊。


0?wx_fmt=png

你也許還想看：


● 乾貨 | NIPS 2017線上分享：利用價值網路改進神經機器翻譯

● 二十一世紀計算 | John Hopcroft：AI革命

● 大會|NIPS 2016：機器學習的盛典


640.png?

感謝你關注“微軟研究院AI頭條”，我們期待你的留言和投稿，共建交流平臺。來稿請寄：msraai@microsoft.com。


640.jpeg?


相關文章