一陣涼風吹過人工智慧,讓這個曾是燥熱的領域逐漸冷卻下來,留下的是紮實地在做研究的人、機構、企業。先後在 NEC 公司中央研究所、微軟亞洲研究院、華為諾亞方舟實驗室從事和領導 AI 技術研發,現任位元組跳動人工智慧實驗室總監的李航,就是一位 AI 技術的堅實研究者和實踐者。
在位元組跳動的一間會議室,筆者第一次見到這位卓有建樹的AI技術研究者和實踐者。關於李航的嚴謹和認真筆者早有耳聞,而在這次會面中,筆者才真正領會了他的學者風範。
讓筆者欣喜的是,李航非常友善且健談,從早年的研究經歷到最近的新書《統計學習方法》第二版,再到對機器學習熱門技術的看法及對未來人工智慧的展望,相關問題他都一一做了詳盡的回答。
一、初遇“機器學習”,也曾有過懷疑
從事 AI 研究 30 多年,目前李航作為位元組跳動人工智慧實驗室總監,負責領導AI 技術基礎研究和產品落地,主要集中在搜尋、推薦、對話、問答、教育幾個領域。目前,李航投入主要的精力在產品研發上,但仍有一些精力放在基礎研究上。
例如在搜尋領域,李航表示他們今年發表了一篇關於排序學習的論文,提出使用點選資料訓練搜尋排序模型的新方法。因為點選資料會有偏差,這個方法能自動做糾偏同時學習排序模型,在搜尋中很有效。據悉,這項成果已經用到了位元組跳動的搜尋引擎中。這項技術的成功為搜尋引擎變成一個自學習的系統邁出了重要一步。
在位元組跳動,李航的主攻方向還是自然語言處理、資訊檢索、資料探勘,認為學術和落地兩者的結合至關重要。他認為,把研究的成果應用到產品,解決實際問題,同時把具有普世意義的成果,作為學術論文發表,在計算機領域這樣的工作很有價值。因此,他表示將不斷推動產品開發和學術研究,同時做好兩者之間的平衡。
對李航的現狀有所瞭解之後,我們不妨來了解一下,當初是什麼樣的契機,讓他走上了 AI 研究的道路並一直堅持到現在。相信這會讓有意進入該領域,但是對於未來職業和人生規劃感到迷茫的年輕人受益匪淺。
京都大學留學開始“AI”生涯
李航回憶道,他最初與 AI “結緣”,是1988年,在日本京都大學留學的本科時期。當時,他最早做的兩個工作都是文字生成相關的。然而,彼時的主流技術並不是機器學習,而是基於規則的方法。
讀本科時,李航做了一個叫做 System Grammar(系統文法)的語言學框架,用它進行中文生成;碩士期間,他研發了一個能夠根據不同需求生成多樣表達的系統。但值得一提的是,這兩個專案中使用的都是基於規則的方法。
他回憶道,其實到 90 年代初,機器學習才進入到自然語言等領域,或者說在這些領域產生更大的影響,逐漸變成主流技術。但當李航開始進入這個行業時,狀況並不是這樣,他也未曾想到,機器學習後來會給AI帶來翻天覆地的變化。
回首 90 年代初開始接觸機器學習時的經歷,李航坦誠當時內心也有過一些懷疑,因為人的語言理解和生成機制與機器學習是完全不同,當時整個業界都認為應該基於規則建立認知模型,去做一些智慧相關的任務。李航說,他的機器學習知識也都是從那時開始,透過自學獲取的。
“可以說,80 年代至 90 年代初,人們對人工智慧的期待非常高,比如 80 年代日本有所謂的第五代計算機專案,那時人們覺得人工智慧的實現應該透過推理技術,但後來發現那些路根本走不通。接著,在90 年代,人工智慧進入低谷期,當時業界甚至都不願意提及人工智慧這個詞。相反地,更多的人把 AI 落到實處,用機器學習去做簡單的事情。”在李航的眼中,90 年代的AI從業者和研究者,是一群務實的人。
務實的 90年代
李航以他自己的親身經歷,講解了 90 年代那群“務實”的人。他最早接觸的機器學習演算法是決策樹,叫做 ID3,這個演算法其實只能做一些簡單的事情。再如,基於神經網路的手寫數字識別,也是一個典型的例子。
李航認為,這些事情都比較簡單,聽起來也沒有那麼智慧,但是當時人們更多地是在腳踏實地做一些實際的事情,沒有過多考慮智慧。所以,從 90 年代到本世紀初的10年,在大約 20 年的時間裡,關於人工智慧的談論並不多,更多的是用機器學習、資料探勘去解決實際問題。
2012 年左右,深度學習開始火起來。而實際上,2012-2014年,最火的詞彙還不是人工智慧,是大資料。直到 2015年 Alpha Go 橫空出世,人工智慧這個詞才又一次完全火爆起來。所以說,業界在不斷髮生變化,技術在演進,大家的關注點和期待,也在隨之改變。
二、新書再版計劃,增加深度學習和強化學習
接著,我們的話題轉到了李航最近的《統計學習方法》第二版。這一次,作者在新版本中加入了無監督學習相關內容。為什麼要增加這一部分內容?未來這本書還會有哪些變動?
李航指出,無監督學習有若干個不同的定義,《統計學習方法》第二版新增的無監督學習內容主要是傳統機器學習中的無監督學習,與Hinton等人最近說的深度學習中的無監督學習不盡相同。他認為無監督學習確實是深度學習未來發展的重要方向,有望讓機器變得更加智慧化,像人一樣使用語言,比如,自然語言處理領域的BERT 之所以可以發揮巨大的威力,根本原因在於它做了很好的預訓練,就是無監督學習。Hinton 所謂的無監督學習是深度學習的未來,是指類似於 BERT這樣的預訓練方法。從這個意義上來說,無監督學習非常重要。
李航表示,因為這本書是在業餘時間寫作的,因此耗費時間較長,第一版花了七年,第二版花了六年時間。2012 年《統計學習方法》第一版出版時正值深度學習初火,當時他曾有意加入一些神經網路的內容,但是擔心時間拖得太久故作罷,所以第一版只對傳統機器學習中的監督學習的主要方法做了介紹。
本來,李航計劃再加上無監督學習的內容就結束本書,但是出版之後受到讀者的歡迎,這使他備受鼓舞,很多人希望再加上深度學習和強化學習,可以看到全新的,沿襲本書簡潔和重點突出風格的內容。所以,李航計劃為這本書增加深度學習和強化學習,希望可以覆蓋所有機器學習常用的方法,幫助讀者更好更快地掌握機器學習技術。然而,再出新版的時間不能確定,也許要幾年之後。
李航特別指出,這本書的定位並非入門書籍,不一定適合入門者,因為雖然該書的內容都是最基本的,沒有一定的統計機率知識和其他相關基礎知識,學起來可能有點吃力。他希望,這本書能成為一本字典一樣的書籍,讓大家能夠反覆研讀,經常使用。
三、對人工智慧的洞察與前瞻
回顧人工智慧的發展歷史,每一個階段都有會因為一些技術突破使得領域的發展曲線升向新的高峰,取得巨大進展。近年來,人工智慧領域的的一些新技術,或者新思路,比如深度強化學習、圖神經網路、通用人工智慧、神經符號處理等引起了業界的矚目,大家對這些新詞彙或新技術寄予厚望,希望能讓這個領域發生更多的奇蹟。然而,每每被冠以“突破性”的技術,產生的影響果真的有這麼大嗎?李航憑藉 多年的研究經驗,給出了他的看法。
強化學習比監督學習更需要資料
李航曾表示,構建一個複雜的智慧系統,原理上需要從“身體“入手,讓智慧系統在與環境的互動中進行學習,而強化學習是實現這一目標的有效手段。深度強化學習應用到真實環境中有什麼樣的優勢?深度強化學習在智慧系統的學習過程中會起到什麼樣的作用?
深度強化學習是把深度學習和強化學習結合起來,用深度學習學習強化學習模型,所以深度強化學習本質上還是強化學習。
李航表示,當智慧系統學習做一些相對簡單任務時,可以使用監督學習,監督學習技術已經比較成熟和實用,但代價是要用很多標註資料。相比,強化學習可以適用於讓智慧系統學習做更加複雜的任務。所以,從這種意義上來說,強化學習未來很有前景。
強化學習未來發展前景廣大,但當前卻面臨著一個巨大的挑戰,即強化學習從某種意義上比監督學習更需要大資料,資料成為當前強化學習發展的最大瓶頸。可以想象,未來5G、物聯網等技術的發展會帶來更多的資料,可能強化學習之後會獲得更大的發展。所以,強化學習是大家都很看好的一個方向。
機器學習做不到和人一樣觸類旁通
目前,統計學習是機器學習的主流,但是統計學習還做不到和人一樣的觸類旁通,自學知識,達到人的學習能力。 統計學習在機器學習中起到什麼作用?機器如何才能獲得人的學習能力?
對於機器學習和深度學習目前取得的一些成果,李航認為應理性看待,“這讓大家有一種錯覺,認為機器已經非常接近人,但實際上差得還很遠,這是因為人類學習和機器學習具有完全不同的機制。人天然具有三個最重要的學習能力,即記憶能力、泛化能力、聯想能力,在機器上實現同樣的學習能力還有很多困難。特別是現在人的學習的具體機理還不是很清楚。”
人的思考機制與機器本質上不同
那麼,有沒有一種方法能夠讓機器做到和人一樣觸類旁通呢?李航認為還看不到這種可能,要想機器學習做到像人類一樣觸類旁通非常難,做到這一點還需要漫長的時間,至於是多久,他也無法給出準確的估計。
為什麼機器無法和人一樣觸類旁通?這要從人的學習機制來看。一言以蔽之:人與機器的學習在本質上是完全不同的。
李航講到,人和動物天然具有記憶和泛化能力,這其實是在做概念的儲存和抽象。比如,老鼠吃了一次讓它中毒的食物,就能認識到這種食物不能吃,下次看到同樣的有毒食物就不會再去碰它。也就是說,只用了一個樣本就把有毒食物的特點,如顏色和氣味學到了(記憶了)。在這個過程中,老鼠做了抽象,因為食物的個體都不是完全一樣的,老鼠能區分哪些東西屬於同類。這些能力都是老鼠生來具有的,有很充分理由相信,人也具有同樣的能力。
此外,人還具有一項重要的能力,它在人的學習或概念形成、推理、語言使用中起到最根本的作用,那就是聯想。聯想是什麼?李航用一個簡單的例子來做了說明,比如現在你看到一瓶水,你可能會聯想到你昨晚也喝過這種水,或者它的生產廠家等。人的經歷不同、場景不同,聯想的內容也不同。人時時刻刻都會做聯想,所以人的思考其實很大部分都是在找到相關的記憶。計算機做檢索的過程其實也是在聯想。我們產生新的概念、做創造發明、學習新知識等常常也是在做聯想。即記憶的機制就是聯想,發明創造的機制也是聯想。
所以,人的這種最基本的思考機制是記憶、泛化、聯想→學到知識。
但是,機器學習目前完全是基於統計,即依靠資料。李航表示,他的書之所以命名為《統計機器學習方法》,是為了強調理論和統計的重要性,因為在他的認知裡,機器學習基本上約等於統計機器學習或統計學習,這也是目前業界的共識。未來也有可能出現其他的機器學習方法,但至少目前來說機器學習就是約等於統計學習。
統計機器學習最核心的想法,就是從大量資料中找到統計規律。即使是深度學習,本質上也是統計學習,用複雜的訓練神經網路,表示找到的複雜的統計規律,去做一些看似智慧,但本質上和人的智慧機制不同的事情。
因此,機器學習與人類學習的本質完全不同,所以讓機器達到與人一樣觸類旁通非常難。