史丹佛大學還因此對陳丹琦進行了一次簡單採訪。
陳丹琦激動人心的研究迅速在社交網路和其他專注機器學習的新聞網站上傳播。她的指導老師——史丹佛 AI 實驗室負責人、人工智慧領域著名學者、史丹佛大學語言學和電腦科學教授克里斯托弗·曼寧（Christopher Manning）在採訪中表示：「陳丹琦是使用神經網路方法解決自然語言理解問題方面的先驅。她簡單、乾淨、高成功率的模型吸引了眾人的目光……她的這篇畢業論文主要研究神經網路閱讀理解和問答，這些新興技術正在帶來更好的資訊訪問方式——它可以讓計算機系統可以真正回答你的實際問題，而不是簡單地返回文件搜尋結果。」
陳丹琦目前正在訪問 Facebook 人工智慧研究院 Facebook AI Research 和華盛頓大學，在今年秋季，她即將前往普林斯頓大學電腦科學系擔任助理教授。
在畢業於史丹佛大學之前，陳丹琦於 2012 年畢業於清華學堂電腦科學實驗班（姚班）。值得一提的是，她在高中（長沙市雅禮中學）參加資訊學國家隊集訓期間提出了 cdq 分治演算法，用於處理一類分治問題；在高中期間她還發明瞭插頭 DP，主要用於解決資料規模小的棋盤模型路徑問題。大牛果然在高中期間就已經「起飛」了。
陳丹琦獲得的榮譽和參與的研究還有很多。2010 年，她獲得了 ACM ICPC 國際大學生程式設計競賽全球總決賽銀牌。在史丹佛期間，她在 2014 年發表的論文《A Fast and Accurate Dependency Parser using Neural Networks》堪稱深度學習依存分析方法的「開山之作」，她和曼寧教授提出的方法在保持精度的前提下，將解析速度提高了 60 倍。
熱門的博士畢業論文
這篇畢業論文名為《Neural Reading Comprehension and Beyond》，描述了她在博士期間的三個重要研究，以解決「人工智慧中最難以捉摸和長期存在的挑戰之一」：如何讓機器學會理解人類語言。讓我們看看她的畢業論文究竟說了什麼。
論文連結：https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf
摘要
教機器學會理解人類語言文字是人工智慧領域最困難的長期挑戰之一。本論文致力於解決閱讀理解問題，即如何構建一個計算機系統來閱讀一段文字並回答理解問題。一方面，我們認為閱讀理解是衡量計算機系統理解人類語言程度的重要任務。另一方面，如果我們可以構建高效能的閱讀理解系統，那麼這些系統就會成為問答、對話系統等應用的關鍵技術。
本論文聚焦於神經閱讀理解，這是一類構建在深度神經網路之上的閱讀理解模型。與基於特徵的手工傳統模型相比，這些端到端的神經模型已被證明在學習豐富的語言現象方面更加有效，在所有現有閱讀理解基準測試中都有大幅度的提高。
本論文包含兩個部分。第一部分旨在概括神經閱讀理解的本質並展示我們在構建高效神經閱讀理解模型方面所做的工作。更重要的是瞭解神經閱讀理解模型實際上學習了什麼，以及解決當前任務需要怎樣的語言理解深度。我們還總結了該領域的當前進展並討論了未來的發展方向以及一些待解決的問題。
第二部分將探討如何基於神經閱讀理解的當前成果構建實際應用。我們開拓了兩個研究方向：1）我們如何將資訊檢索技術與神經閱讀理解相結合，來解決大型開放域問答問題；2）我們如何從當前基於跨距的（span-based）單輪（single-turn）閱讀理解模型構建對話問答系統。我們在 DRQA 和 COQA 專案中實現了這些想法，證明了這些方法的有效性。我們相信，這些技術對於未來的語言技術將非常有幫助。
動機
讓機器學會理解人類語言文字是人工智慧領域最難的長期挑戰之一。在開始做這件事之前，我們必須要知道理解人類語言意味著什麼？圖 1.1 展示了 MCTEST 資料集（Richardson et al., 2013）中的一個兒童故事，只有簡單的詞彙和語法。為了處理這樣一段文字，NLP 社群花費了數十年的精力來解決各種不同的文字理解任務，包括：
a）詞性標註。它要求機器理解這些東西：如在第一個句子「Alyssa got to the beach after a long trip」中，Alyssa 是專有名詞，beach 和 trip 是普通名詞，got 是動詞的過去式，long 是形容詞，after 是介詞。
b）命名實體識別。機器要能夠理解 Alyssa、Ellen、Kristen 是人名，Charlotte、Atlanta、Miami 是地名。
c）句法分析。為了理解每句話的含義，機器需要理解單詞之間的關係，或句法（語法）結構。還是以第一句話為例，機器要能夠理解 Alyssa 是主語，beach 是動詞 got 的賓語，而 after a long trip 是介詞短語，描述了和動詞的時間關係。
d）共指消解（coreference resolution）此外，機器甚至還要理解句子之間的相互作用。例如，句子「She's now in Miami」中的 she 指的是第一句話中提到的 Alyssa，而第六行中的「The girls」指的是前面提到的 Alyssa、Ellen、Kristen 和 Rachel。
是否有全面的評估方法來測試所有這些方面並探索更深層次的理解呢？我們認為閱讀理解任務（根據一段文字回答理解問題）就是一個合適又重要的方法。正如我們會用閱讀理解來測試人們對一段文字的理解程度，我們認為它同樣能夠用來測試計算機系統對人類語言的理解程度。
我們可以看看基於相同段落（圖 1.1）提出的一些閱讀理解問題：
a）要回答第一個問題「What city is Alyssa in？」機器要找到句子「She's now in Miami」並解決「She 指的是 Alyssa」這個共指消解問題，最後再給出正確答案「Miami」。
b）對於第二個問題「What did Alyssa eat at the restaurant？」，機器首先要找到句子：「The restaurant had a special on catfish.」和「Alyssa enjoyed the restaurant's special.」，然後理解第二個句子中 Alyssa 吃的 special 就是第一個句子中的 special。而第一個句子中 special 提到的是 catfish，所以最終正確答案是 catfish。
c）最後一個問題比較有難度。為了正確回答該問題，機器要找出該段落中提到的所有人名及其之間的關係，然後進行算術推理（arithmetic reasoning），最終給出答案「3」。
可以看到，計算機系統要了解文字的各個方面才能正確回答這些問題。因為問題可以被設計為詢問那些我們關心的方面，閱讀理解應該是用來評估語言理解程度的最合適任務。這也是本文的中心主題。
在本文中，我們研究了這樣一個閱讀理解問題：我們該如何構建計算機系統來閱讀文章並回答這些理解問題？尤其是，我們重點關注神經閱讀理解——一種用深度神經網路構建的閱讀理解模型，該模型被證明比基於特徵的非神經模型更有效。
閱讀理解領域歷史悠久。早在 20 世紀 70 年代，研究人員就已經認識到它是測試計算機程式語言理解能力的重要方法 (Lehnert, 1977)。但是，它卻被忽視了數十年，直到最近才獲得了大量關注並取得了快速的進展（如圖 2.1 所示），包括我們將在本文詳述的工作。閱讀理解近期取得的成功可以歸功於兩方面：
從（文章、問題、答案）三個方面建立的大規模監督資料集；
神經閱讀理解模型的發展。
圖 1.2：谷歌上的搜尋結果。它不僅返回了搜尋文件列表，還給出了文件中更精確的答案。
本文涵蓋了當代神經閱讀理解的本質：問題的形式，這些系統的組成部分和關鍵成分，以及對當前神經閱讀理解系統優勢和弊端的理解。
本文的第二個中心主題是，我們堅信，如果可以構建高效能的閱讀理解系統，那這些系統將是建立諸如問答和對話系統等應用的關鍵技術。事實上，這些語言技術已經與我們的日常生活息息相關了。例如，我們在谷歌上搜尋「有多少人在史丹佛大學工作？」（圖 1.2），谷歌將不僅返回文件列表，還會閱讀這些網頁文件並突出顯示最可靠的答案，並將它們展示在搜尋結果的頂部。這正是閱讀理解可以幫助我們的地方，使搜尋引擎變得更加智慧。而且，隨著數字個人助理（如 Alexa、Siri、谷歌助手或者 Cortana）的發展，越來越多的使用者通過對話和詢問資訊問題來使用這些裝置。我們相信，構建能夠閱讀和理解文字的機器也將大大提升這些個人助理的能力。
因此，如何根據神經閱讀理解近期取得的成功來建立實際應用程式也是我們感興趣的一方面。我們探索了兩個將神經閱讀理解作為關鍵組成部分的研究方向：
開放域問答結合了來自資訊檢索與閱讀理解的挑戰，旨在回答來自網路或大型百科全書（如維基百科）的一般性問題。
對話式問答結合了來自對話和閱讀理解的挑戰，解決了一段文字中的多輪問答問題，比如使用者如何與智慧體互動對話。圖 1.3 展示了來自 COQA 資料集 (Reddy et al., 2019) 的一個示例。在該例子中，一個人可以基於 CNN 文章內容提出一系列相互關聯的問題。
圖 2.2：論文整理了神經閱讀理解中資料集（黑色）和模型（藍色）的最新重要進展。在這個表中，除 BERT (Devlin et al., 2018) 外，以相應論文的發表日期排序。
六年博士心路歷程
在博士論文中，陳丹琦也介紹了自己博士期間的學習經歷，感謝了在前進過程中給予了她極大幫助的一批人，包括父母、老師、愛人、朋友。機器之心編譯介紹了致謝中的部分內容，讓我們一窺優秀的人砥礪前行的歷程：
對於我來說，在史丹佛的六年是一段難忘的寶貴經歷。2012 年剛開始讀博的時候，我甚至都不能說出流利的英語（按照要求，我要在史丹佛修 5 門英語課程），對這個國家也知之甚少，甚至從未聽說過「自然語言處理」這一概念。不可思議的是，在過去的幾年裡我竟然一直在做語言方面的研究，訓練計算機系統理解人類語言（多數情況下是英語），我自己也在學習用英語進行溝通、寫作。同時，2012 年也是深度神經網路開始起飛並主導幾乎所有我們今天看到的人工智慧應用的一年。我從一開始就見證了人工智慧的快速發展，併為即將成為這一浪潮的一份子而感到興奮（有時是恐慌）。如果沒有那麼多人的幫助和支援，我也不可能走到今天。我由衷地感謝他們。
首先要感謝的是我的導師克里斯托弗·曼寧。我剛來史丹佛的時候還不知道 Chris。直到和他一起工作了幾年、學了 NLP 之後，我才意識到自己何其榮幸，能夠和這一領域如此傑出的人才共事。他對這一領域總是充滿洞察力，而且非常注重細節，還能很好地理解問題的本質。更重要的是，Chris 是一個非常善良、體貼、樂於助人的導師。有師如此，別無他求。他就像我的一位老友（如果他不介意我這麼說的話），我可以在他面前暢所欲言。他一直對我抱有信心，即使有時候我自己都沒有自信。我一直都會對他抱有感激，甚至現在已經開始想念他了。
除了 Chris，我還想感謝 Dan Jurafsky 和 Percy Liang——史丹佛 NLP Group 的另外兩位傑出人才————他們是我論文委員會的成員，在我的博士學習期間給予了我很多指導和幫助。Dan 是一位非常有魅力、熱情、博學的人，每次和他交談之後我都感覺自己的激情被點燃了。Percy 是一位超人，是所有 NLP 博士生的榜樣（至少是我的榜樣）。我無法理解一個人怎麼可以同時完成那麼多工作，本論文的很大一部分都是以他的研究為基礎進行的。感謝 Chris、Dan 和 Percy 建立了史丹佛 NLP Group，這是我在史丹佛的家，我很榮幸成為這個大家庭的一員。
此外，Luke Zettlemoyer 成為我的論文委員會成員也讓我感到萬分榮幸。本論文呈現的工作與他的研究密切相關，我從他的論文中學到了很多東西。我期待在不遠的將來與他一起共事。
讀博期間，我在微軟研究院和 Facebook AI Research 獲得了兩份很棒的實習經歷。感謝 Kristina Toutanova、Antoine Bordes 和 Jason Weston 在實習期間給予我的指導。我在 Facebook 的實習專案最終給了我參與 DRQA 專案的契機，也成為了本論文的一部分。感謝微軟和 Facebook 給予我獎學金。
我要感謝我的父母 Zhi Chen 和 Hongmei Wang。和這一代大多數中國學生一樣，我是家裡的獨生子女。我和父母的關係非常親密，即使我們之間有著十幾個小時的時差而我每年只能擠出 2-3 周的時間來陪他們。是他們塑造了今天的我，廿載深恩，無以為報，只希望我目前所取得的一切能夠讓他們感到一絲驕傲和自豪吧。
最後，在這裡我要感謝俞華程對我的愛與支援（我們在這篇博士畢業論文提交之前 4 個月結婚了）。我在 15 歲時遇見了華程，從那時起我們一起經歷了幾乎所有的事情：從高中的程式設計競賽到清華大學美好的大學時光，然後又在 2012 年共同進入史丹佛大學攻讀電腦科學博士學位。在過去的十年裡，他不僅是我的伴侶、我的同學、我最好的朋友，也是我最欽佩的人，因為他時刻保持謙虛、聰慧、專注與努力。沒有他，我就不會來到史丹佛。沒有他，我也不會獲得普林斯頓的職位。感謝他為我所做的一切。
致我的父母和俞華程，感謝他們無條件的愛。
參考內容：https://library.stanford.edu/blogs/digital-library-blog/2019/01/sdr-deposit-month-dissertation-ai-breakthrough-makes-leaderboard