通往AI之路：Yann LeCun的西西弗斯情結

Facebook的AI研究專家Yann LeCun在灣區機器學習研討會上做了名為《AI之路中的障礙》的演講。他認為AI的障礙就是樣本太多，掃清障礙的方法就是非監督學習。

很少有人比燕樂存（Yann LeCun）與深度學習的關係更緊密。他是一位有名的電腦科學家，主要研究領域是機器學習、計算機視覺、機器人和計算神經科學，還以他對光學字元辨識和卷積神經網路（CNN）的研究而聞名，被譽為卷積網路之父。 [caption id="attachment_6314" align="aligncenter" width="1000"] Yann LeCun[/caption] 上個世紀80年代末，他加入貝爾實驗室，開發出卷積網路技術，並展示了它在筆跡識別系統中的極大用處；美國大部分支票的簽名都用他的方法進行處理。90年代中期開始，當神經網路遭遇寒冬時，燕樂存是少數抱有信心的科學家之一。2003年，他成為了紐約大學資料科學中心的教授，為深度學習做出了巨大的貢獻。2013年，他加入Facebook新成立的人工智慧實驗室，領導Facebook的AI研究，主攻自然語言處理（NLP）、機器視覺 和模式識別等方向。機器之心曾經編譯過IEEE對他的專訪，點選此處可檢視《深度對話Yann LeCun：讓深度學習擺脫束縛》。 今年10月，燕樂存參加了在美國加州舉行的灣區機器學習研討會（Bay Area Machine Learning Symposium），並在會上做了題為《AI之路中的障礙》（Obstacles on the path to AI）的演講。 灣區機器學習研討會是為舊金山灣區機器學習科學家舉行的會議，目的是建立學術研究和產業機構的橋樑，其組委會包括了谷歌研究院的Samy Bengio、百度的吳恩達、Facebook的Joaquin Quinonero Candela等。 燕樂存的演講影片如下（全文PPT點右邊下載：lecun-20151022-baylearn）： <embed>   燕樂存為自己的演講起了一個副標題叫「我是怎樣學著不再擔心並愛上非監督式學習的」（How I learned to stop worrying and love unsupervised learning），並在演講中表達了自己對非監督學習的樂觀態度，認為這才是強人工智慧實現的利器。 以下是演講內容的概括： 1，介紹瞭如何讓表徵學習與推理/決策等功能互相配合。表徵學習（Representation learning）的目標是尋求更好的表示方法，並建立更好的模型來從大規模未標記資料中學習這些表示方法。 2，強化學習的缺點在於大量的表徵學習引數存在，使得機器學習的計算量相當冗餘。強化學習（reinforcement learning）是機器學習中的一個領域，強調如何基於環境而行動，以取得最大化的預期利益。其靈感來源於心理學中的行為主義理論，即有機體如何在環境給予的獎勵或懲罰的刺激下，逐步形成對刺激的預期，產生能獲得最大利益的習慣性行為。燕樂存把強化學習比喻做「蛋糕上的小櫻桃」，聽起來很誘人，但是在有限的時間內無法學習到成千上億的引數。 3，非監督學習在自然語言處理領域的應用（比如語詞巢狀、組合語義屬性、問答系統）。非監督學習是機器學習的一種型別。機器學習有兩種主要的學習型別。一種是監督式學習，處理有標記的資料。例如，包含不同影像的資料組，每個資料都有註釋和描述。另一種則是非監督式學習，處理沒有標記的資料，計算機必須找到區分不同資料子集、叢集或相似影像的方法。 [caption id="attachment_6318" align="aligncenter" width="1082"] 我們是如何無監督學習的？[/caption] 4，記憶網路：如何造出一個類似人類「海馬區」功能的記憶模組。海馬區（Hippocampus）是位於腦顳葉內的一個部位，人有兩個海馬，分別位於左右腦半球。它是組成大腦邊緣系統的一部分，擔當著關於記憶以及空間定位的作用。燕樂存指出，遞迴網路的記憶時間很短，就像大腦皮層只有20秒的記憶，因此我們需要一個像「海馬區」一樣的記憶模組，並介紹了目前的一些研究進展，如Jason Weston等人的記憶網路（Memory Networks）等。 燕樂存認為，非監督學習的優點有很多。非監督學習非常適合對真實的世界進行建模，因為這個世界充滿著各種不確定性，並不存在理想條件下的無噪聲和決定論式的那般機械。總而言之，這是一個活生生的世界。因此如果提取各種樣本進行機器學習，無疑是不可取的。那麼，我們需要從不同的方面進行思考。燕樂存的演講暗示著他將提出一種建立在「非樣本」基礎上的非監督學習。希臘神話中，西西弗斯每天都必須將一塊巨石推上山頂，而巨石到達山頂後又會滾回山下，週而復始，徒勞無功。推崇無樣本非監督學習的燕樂存是否就像那個推著巨石前進的西西弗斯呢？或許只有等巨石被推上山頂時才能揭曉答案了。 那麼，他是如何對所謂的非樣本機器學習進行論述的呢？他將如何踢開阻擋在人工之路上的這塊絆腳石（大量的樣本處理）呢？請戳lecun-20151022-baylearn，下載全文PPT，給你更多細節。