每位科學作者都需要閱讀充斥著專業術語集的期刊論文，還需要想辦法用科普性的語言，讓沒有科學背景的讀者也能夠理解文章的內容。現在這種苦惱有望得到緩解。
由麻省理工學院和其他機構人員組成的科學家團隊已經開發出一種神經網路，這種人工智慧（AI）的形式可以在有限範圍內做到：閱讀科學論文，並用一兩句話呈現簡單的英語摘要。儘管形式有限，但這樣的神經網路可以幫助編輯、作者和科學家掃描大量論文，以便對其內容有一個初步瞭解。除了語言處理，這個團隊開發的方法還可以應用於其他領域，包括機器翻譯和語音識別等。該研究發表在《Transactions of the Association for Computational Linguistics》雜誌上。
圖片來源：123RF從物理到自然語言的人工智慧
有趣的是，這項工作源於一個不相關的專案——涉及開發基於神經網路的新的人工智慧方法，以解決物理學中的某些棘手問題。然而，研究人員很快意識到，同樣的方法可以用於解決其他困難的計算問題，包括自然語言處理，其效能可能超過現有的神經網路系統。
“我們在人工智慧領域做各種各樣的工作已經持續幾年了,” 麻省理工學院物理學教授Marin Soljačić說：“我們使用人工智慧來協助研究，基本上是為了更好地研究物理學。隨著我們對人工智慧越來越熟悉，我們注意到，每隔一段時間，在該領域，來自物理學的知識就會帶來某個機遇，包括某種數學結構或某種物理定律。我們發現如果我們使用它，實際上可以改進某個特定的人工智慧演算法。"
他表示，這種方法可以用於各種特定型別的任務，但不是所有的。“我們不能說這對所有的人工智慧都有用，但在一些例子中，我們可以利用物理學的洞察力來改進給定的人工智慧演算法。”
神經網路通常是一種模仿人類學習某些新事物的方式的嘗試：計算機檢查許多不同的例子並“學習”潛在的關鍵模式是什麼。這些系統被廣泛用於模式識別，例如學習識別照片中描述的物體。但是神經網路通常很難從一長串的資料中獲得相關的資訊，比如在解釋一篇研究論文時。 研究人員表示，人們已經使用了各種技巧來提高這種能力，包括被稱為長期短期記憶（LSTM）和門控迴圈單元（GRU）的技術，但是這些技術仍然遠遠不能滿足真正的自然語言處理的需要。
研究小組提出了一種替代系統，它不像大多數傳統的神經網路那樣基於矩陣的乘法，而是基於在多維空間中旋轉的向量。關鍵的概念是他們所說的旋轉儲存單元（RUM）。從本質上講，系統用多維空間中的一個向量來表示文字中的每個單詞——一條指向特定方向、特定長度的線。接下來的每個單詞都朝著某個方向擺動這個向量，在一個理論空間中表示，這個空間最終可以有數千個維度。在過程結束時，最終的向量或向量集被轉換回相應的字串。
“RUM幫助神經網路很好地完成兩件事,” HBKU卡達計算研究所高階科學家 Preslav Nakov說：“那就是幫助他們更好地記憶，並使他們能夠更準確地回憶資訊。”
開發了RUM系統來幫助解決某些棘手的物理問題，例如複雜工程材料中光線的行為之後，“我們意識到這種方法可能應用的地方之一是自然語言處理,”Soljačić說。他回憶起與Tatalović的一次談話，Tatalović指出這樣的工具對他的工作很有用，作為一個編輯，他需要決定寫哪些論文，他當時正在科學雜誌探索人工智慧技術，這也是他的研究員專案。
“所以我們嘗試了一些自然語言處理任務,”Soljačić說：“我們嘗試的一種方法是對文章進行總結，看起來效果不錯。”
證據就在閱讀之中
他們通過一個傳統的基於LSTM的神經網路和基於RUM的系統提供相同的研究論文。結果得出的總結大相徑庭。LSTM系統產生了這個高度重複和相當技術性的總結。而且在同一篇論文的基礎上，RUM系統提出了一個更具可讀性的摘要，其中不包括不必要的重複短語。而基於虛擬現實的系統得到了擴充套件，它可以"閱讀"整個研究論文，而不僅僅是摘要，以產生對其內容的總結。研究人員甚至嘗試在他們自己的研究論文中使用該系統來描述這些發現。
沒有參與這項研究的英國人工智慧公司Google DeepMind的研究科學家Çağlar Gülçehre表示，這項研究解決了神經網路中的一個重要問題，涉及到在時間或空間上相隔很遠的資訊片段。“這個問題一直是人工智慧中一個非常基本的問題，因為序列預測任務需要對長時間延遲進行推理，”他說：“雖然我不認為這篇論文完全解決了這個問題，但是它在問題回答、文字摘要和聯想回憶等長期依賴性任務上顯示了可喜的結果。”
Gülçehre補充說：“由於本文中提出的實驗和模型在Github上以開放原始碼的形式釋出，因此許多研究人員將有興趣在他們自己的任務上進行嘗試。更具體地說，本文中提出的方法可能會對自然語言處理和強化學習領域產生非常大的影響，因為長期的依賴關係在這些領域非常關鍵。”
參考資料：
[1] Can science writing be automated? A neural network can read scientific papers and render a plain-English summary. Retrived April 18, 2019 from https://www.sciencedaily.com/releases/2019/04/190418105730.htm