Yoshua Bengio談深度學習AI如何邁向人類水平

被稱為“人工智慧三巨頭”之一的蒙特利爾大學電腦科學與運算研究系教授Yoshua Bengio發表演講，講述《深度學習抵達人類水平面臨的挑戰（Challenges for Deep Learning towards Human-Level AI》。

蒙特利爾大學電腦科學與運算研究系教授Yoshua Bengio

本次演講講述了人工智慧尚未達到人類水平的原因，以及機器學習和自然語言處理遇到的挑戰，整個演講娓娓道來且讓人意猶未盡。

在演講中，Bengio提到AI如今的大獲成功主要是靠有監督學習，而有監督學習裡的高階概念（比如label）是人類給的，不是機器自己去發現的。沒有這個主動認知的過程，機器對資料的理解其實是相當膚淺的，改幾個畫素就會錯把狗的圖片當成鴕鳥。

Bengio和Yann LeCun在2007年的一篇論文裡提出：我們需要學到一個好的表示。好的表示到底是什麼，這尚無定論，但我們希望學到的表示能抓住事物的原因和資料的內在解釋。

Bengio進一步認識到，既然好的表示可以得到簡單的相關性，又沒有免費的午餐，那麼就一定需要先驗去輔助分離內在的因子變數。

這類先驗可以是空間和時間尺度上的先驗（比如變數變化的快慢），也可以是高層表示之間應具有統計獨立性。

好的表示還應具有這樣的先驗：能把資料對映到一個空間，在這個空間裡做什麼都很簡單，計算簡單、學習簡單、因子之間的相關也很簡單。

還有一類先驗不是被動給予的，而是主動與環境互動獲取的，這是強化學習的範疇。

心理學家提出認知任務有兩種不同型別，這可以幫助我們理解深度學習當前存在的侷限，以及該向何處發展。

第一類認知任務是可以快速完成的、無意識的動作，比如口渴時一下就能把水杯拿起來喝水，而不是盯著水杯刻意地識別它。

第二類任務則是速度較慢的、有意識的，包含邏輯、語言、計算等。經典符號AI曾經嘗試去解決這類任務。

意識空間裡的事物維度很低，因此我們能在這樣的空間裡進行推理。

“下雨時打傘”，這個句子雖然只有“下雨”和“打傘”兩個變數，但因為它高概率為真，所以具有很強的預測能力，這說明僅用很少的資訊就能做出預測。

意識先驗就是假設有很多隻包含很少變數但為真的事情，因此，好的表示的一個性質，就是當我們把資料對映到表示空間之後，變數之間只有少數相關。

我們也可以在這樣的空間裡討論變數的因果性：在畫素空間裡說一個畫素引起另一個畫素的變化是沒有意義的，但在表示空間裡就可以說一個變數引起另一變數的變化。

無意識狀態是高維的，有意識狀態是低維的，可以用注意力機制選擇較少維度去表示有意識狀態。

借鑑GAN的思想，訓練可區分來自P(A,B)和P(A)P(B)這兩個分佈的(A,B)的判別器，如果區分不出則說明它們是獨立的。這樣可以讓encoder學到的表示儘可能獨立。

直接計算互資訊往往是困難的，我們也可以用類似的思想，用判別器去學習互資訊的估計。這樣學到的互資訊估計可用來提高GAN的效能。

現在的NLP任務只是在文字上訓練模型。

這樣會出現很多常識性的錯誤，因為它並沒有理解語言內在的含義。

想要真正理解自然語言，不僅要對語言本身建模，還要對所處環境進行建模。要將語言學習和世界運轉方式的學習相結合。

機器需要對事物之間的因果聯絡進行建模。

BabyAI通過19個由易到難的遊戲關卡而不斷學習，就像嬰兒成長的過程一樣。這很像課程學習（curriculum learning）。

來源：大資料文摘