近日，史丹佛大學、微軟聯合發表了一篇論文，提出了一種在機器理解（MC）中使用 2-階段合成網路（SynNet) 進行遷移學習的技術。論文作者之一、前微軟人工智慧首席科學家鄧力已經離職，加入對衝基金巨頭 Citadel。
論文連結：https://arxiv.org/pdf/1706.09789.pdf
我們開發了一種在機器理解（MC）中使用一個全新的 2-階段合成網路（SynNet) 進行遷移學習的技術。在某個領域中給定一個高效能 MC，我們的技術旨在回答有關另一領域文件的問題，其中我們使用的是無標記資料問答對。不使用提供的註釋的情況下，在 SQuAN 資料集預訓練的模型上使用我們提出的 SynNet，能夠在 NewsQA 資料集挑戰賽上取得 46.6% 的 F1 測量結果，接近領域內（in-domain) 模型的表現（F1 結果為 50.0%），超過域外（out-domain) 基線 7.6%。
圖 1：2-階段 SynNet 的圖釋。給定段落的情況下，訓練 SynNet 的目的是對問題與答案進行合成。模型的第一階段是一個答案合成模組，使用一個雙向 LSTM 在輸入段落上預測 IOB 標籤，標記出可能是答案的關鍵語義概念。第二個階段是一個問題合成模組，使用一個單向 LSTM 來生成問題，同時顧及段落中詞彙與 IOB id 的嵌入。儘管段落中的多個跨度（span) 可以被認為是潛在答案，但我們只選擇了一個 span 來生成問題。
表 1：隨機取樣的段落和對應的來自 NewsAQ 訓練集的合成問題與人類問題的對比。
表 2：主要結果。使用我們的 SynNet 精調的 BIDAF 模型在 NewsQA 測試集上的精度匹配（EM）和 span F1 結果。
表 3：NewsQA 到 SQuAD。在 SQuAD 上開發的一系列 NewsQA BIDAF 模型與使用由 2-階段 SynNet 生成的資料精調的模型的 EM 和 span F1 結果對比。
表 4：Ablations Studies。使用一個 2-階段 SynNet 精調的 BIDAF 模型在 NewsQA 測試集上的精確匹配和跨距 F1 結果。
圖 2：在 SQuAD（黃色）上訓練的 BIDAF 模型基準的 NewsQA 準確率對比使用我們方法精調的模型對比在 NewsQA 上從頭開始訓練的一個模型（深藍）。