眾所周知，自然語言處理（NLP）與計算機視覺（CV）是人工智慧的兩大熱門領域。近年來，隨著深度學習等技術的發展，計算機視覺領域發展很快，越來越多的應用開始落地。與之相比，NLP 領域目前的進展如何？昨天，有人在 Reddit 上發出了疑問：是否我們和 NLP 的突破之間還有很長一段距離？這個問題引發了人們的熱烈討論。
問題
我現在對於自然語言處理（NLP）領域的進展稍感失望
在 2014 年-2015 年期間，NLP 上有許多有趣的發展方向：外部儲存器（external memory）、推理、無監督/半監督學習、聊天機器人、問答系統、為影像生成文字描述……然而在今天，其中的很多似乎沒有多少進展，而人們研究的熱點紛紛轉向了 GAN 和強化學習。
你覺得是這樣嗎？談論 NLP 領域的突破是否為時尚早？
回答與討論
Jean-Porte：當前最優結果正穩步增長。一些結果令人印象深刻，比如在 SNLI 上表現超越人類的最佳方法，儘管我不認為這是人類的真實水平。無監督學習在 NLP 中獲得成功（有兩篇介紹無監督機器學習的 ICLR 論文），雖然機器學習會議（ICLR）中的 NLP 論文相當少。很多高效方法也已在開發之中（比如 fasttext）。我認為 2014-2015 期間有很多新的有趣且艱難的問題已解決，並取得了相當好的結果。這一領域在這些問題方面越發成熟，相比以往突破性不大，但肯定有進步。
- https://arxiv.org/pdf/1711.00043.pdf
- https://arxiv.org/pdf/1710.11041.pdf
hapliniste：我認為真正好的 NLP 要遠比我們想的更艱難，也許等到我們實現了通用人工智慧（AGI）才會到來（正如語言來自現實世界，不瞭解這個世界肯定行不通）。
adammathias：你是對的，NLP 非常難。不僅僅是任務難（當然這樣也要看我們選擇的任務），分析和表徵結果更難。很多影像任務中間層的輸出的視覺化可以獲得任何研究委員會、工程經理甚至是紐約時報讀者的肯定，就像認可一些計算機藝術一樣。
但是作為兩個句子的平均的一個句子呢？或者生成自向量空間的一個點？並且這假設訓練資料是英文。結果就是一切難上加難。進入門檻越高，即刻的獎勵越低。因此很多研究者改變了研究領域，漸漸變的妥協。
作為一個具體例項，向世界頂級研究與工程組織的非常有才華、善意且做事高效的同僚解釋為什麼Блацк Форест或者тхроугх是不可接受的輸出並且是徹底的失敗，是一場艱苦異常的戰鬥。因此，五年之後，這依然存在。並且這是一個很簡單的問題，更像是一個資料通道 bug，實際上非常好解決。
hapliniste：沒錯，我也認為語言處理是一個大難題。假如可以製造一個「hyppocampus」控制網路中的資訊路由選擇，就能擁有一個開發強大 NLP 的堅實基礎，但目前看來還遠遠無法實現。
我目前對於如何實現「AGI」和 NLP 的觀點如下：
- 需要一種系統，其擁有兩種基本結構：函式和表示（型別）。函式就是模型，表示是函式作用的物件（且只能使用一種表示），然後儘可能分解函式，並在其它函式中複用；
- 需要一種系統，以找到函式的能給出基於輸入的正確的輸出的路由。它需要在初始表示（比如一張影像）之間找到最好或最短的路由併傳送到所要求的表示上（比如文字描述）。所用的表示或型別必須強制網路只使用合理的路徑；
- 可以使用由「hyppocampus」生成的路徑，並將其轉換為文字描述。這樣就能實現一種強大的 NLP 了。
不過也請別太較真，這些都還是未被證明過的觀點。
請注意我談到了「AGI」，但似乎很多人都把 AGI 當做一種進化過程的結果，並且是有生命的。但用我的方法不太可能會實現這種 AGI。它可能更像一個 app 商城，其中人類設計的模型以一種監督方式解決任務（這就是為什麼我會稱它為「AGI」，而不是 AGI）。
adammathias：至於 2017 年第 4 季度，我們甚至沒有嘗試。任何真實任務，比如 Nice truck attack、Pope's Baby Steps on Gays、Loving PR 或者省略語言中的一半語句 (今天的例項)，沒有額外語境的幫助無法完成。但是絕大多數基準不包含語境。即使我們有一些超級神經網路，並在訓練和測試中輸入這般的字串，我們也無法期望該網路會工作。某種意義上在給定輸入的情況下，今天的機器學習的效能已幾近最優。
為了兌現承諾，Google Now 及其他類似應用確實使用了語境，並且 Manning 的史丹佛實驗室已經關注首語重複法研究。製作語境資料集也面臨挑戰，它們必須足夠大，但是遷移可能不太好。一旦有了這樣的資料集，會湧現出更多有關自然語言的 AGI 研究。
automated_reckoning：這些是絕佳的例項！如此容易地在你心中轉變意思非常有趣，這很好地證明了語境的重要性，以及自然語言是多麼微妙。
adammathias：例項 The Pope's Baby Steps 來自 Chris Manning：The Future of AI – June 23, 2016 - https://vimeo.com/173057086。
adammathias：
神經圖片標註
其實那個東西不是 NLP。
機器翻譯
我們現在只看到谷歌、IBM 微軟等公司展示的對話到對話 demo，而其中最引人關注的點是語音識別技術，這意味著它並不全是 NLP。現在灣區的公司有多少真正需要機器翻譯的？NMT 真正的使用者群是那些不會說英語，但卻在工作和生活上需要用到英語的人群。
mljoe：我認為除了計算機視覺中存在的典型堆疊和池化方法以外，我們還需要其他一些東西。上述方法可以抓取物理世界結構的本質（引自 Henry W. Lin 等人的論文《Why does deep and cheap learning work so well?》）。但我認為在自然語言中它們不起作用。我認為 Geoffrey Hinton 的 Capsule 理念或許可以為 NLP 帶來新的希望。
Syphon8：讓我進一步來說說自然語言處理的本質吧，它和你如何看待一個人有關，這其實和通用人工智慧是同一個問題。
或許這只是 Sapir–Whorf 假說的一次復現，但我認為它的可能性很大（Sapir–Whorf 假說：一個關於人類語言的假說，由語言學家兼人類學家 Edward Sapir 及其學生 Benjamin Whorf 所提出，是一個心理學及語言學假說。它認為，人類的思考模式受到其使用語言的影響，因而面對同一事物時可能會有不同的看法）。
任何可以像人類一樣處理自然語言的機器都可以擁有相應的觀點，同時可以完成其語言中所描述的任務。
同樣，任何真正的人工智慧都需要有某種程度的處理語言的能力，這樣才能與其他智慧體進行互動。
torvoraptor：看看最近的論文吧，已經出現無監督神經機器翻譯了，我根本不認為 NLP 領域停滯了（《Word Translation Without Parallel Data》：https://arxiv.org/abs/1710.04087）
-論文《Unsupervised Neural Machine Translation》（參見：無監督神經機器翻譯：僅需使用單語語料庫）：https://arxiv.org/abs/1710.11041-
eMPiko：我不覺得這令人失望，更願意當作一種警醒。總會有一些人一旦有什麼有趣的新發現，就大肆宣揚在什麼 20 年內獲得通用人工智慧。深度 NLP 已經取得很大進步，它使用的是相當通用的和可複用的架構，可以在每一種虛擬的 NLP 任務中達到當前最佳結果。我們在短短几年內就（在某些案例中）超越了過去幾十年的研究成果。例如，所有在 2015 年之前使用統計機器翻譯的研究進展現在實際上都變得無關緊要了，因為我們已經開始使用資料驅動的編碼器—解碼器（encoder-decoder）。
Phylliida：我很喜歡那篇論文。可惜的是據我所知，和常規的機器翻譯不一樣，它不能轉移到聊天機器人上。
evc123：NLP 將繼續保持頹勢，直到情境語言學習（Situated Language Learning）得到應用：https://arxiv.org/abs/1610.03585。
disappointedwithnlp：我並不認為這是當前困境的解決辦法。
由於不可能學到比智慧體知道的更多的東西，任何從其它智慧體學習的智慧體都有所侷限。任何學習人類的智慧體在學習其它東西的時候都必須非常高效地使用樣本（sample efficient）。因此，我們首先需要更好的無監督學習獲得高效使用樣本的能力。
你對 NLP 目前的發展有何看法？歡迎留言進行討論。