華為諾亞方舟實驗室主任李航：用漂亮的方式解決"汙濁"的問題（圖靈訪談）

李航，華為技術有限公司諾亞方舟實驗室主任，北京大學、南京大學兼職教授。他日本京都大學電氣電子工程系畢業，日本東京大學獲得電腦科學博士學位。曾就職於日本NEC公司中央研究所，任研究員，以及微軟亞洲研究院，任高階研究員與主任研究員。李航博士的研究方向包括資訊檢索，自然語言處理，統計機器學習，及資料探勘。他一直活躍在相關學術領域，曽出版過三部學術專著，並在頂級國際學術會議和國際學術期刊上發表過上百篇學術論文，擁有40項授權美國專利。

機器學習的春天

“他說自然語言處理是“泥臭い”（汙濁）的，用漂亮的方法是解決不了的；我說我的結論正好相反，正因為自然語言處理是“泥臭い”的，才必須用漂亮的方法去解決。"

問：您能否簡單介紹一下自己的經歷？

我祖籍是天津，在哈爾濱出生，六歲時隨父母到西安，小學中學都是在西安唸的。高中畢業以後，考上西安交通大學。當時教育部有一個派遣本科生到國外留學的政策，我和全國各大高校的一些同學被選拔去日本留學，我們那批共有三十人。我在西安交大呆了半年以後，去長春學了一年日語，之後於1984年4月去了日本。

我在日本京都大學讀的本科和碩士，畢業以後就去了NEC公司的中央研究所。在那裡，一邊工作一邊學習，在東京大學獲得博士學位。2001年6月回國，在微軟亞洲研究院工作了十一年。2012年5月來到香港，至今在華為諾亞方舟實驗室工作。

問：在京都大學學習的時候您是怎麼進入到機器學習領域的？

我接觸人工智慧還是挺早的。我在京都大學本科的專業是電氣電子工程，入學以後不久，有一個參觀人工智慧實驗室的機會。學校安排了一個研究生作為我的tutor，領我去到他的實驗室，碰巧他是做人工智慧的。大概那個時候我才真正看到大型的電子計算機，機房裡放著許多臺LISP機器，叫SYMBOLICS，由波士頓一家廠商生產，在當時是很昂貴的。在參觀的過程中他們告訴我，他們專門研究計算機視覺、自然語言處理這方面的人工智慧問題，我覺得這挺有意思。剛巧那個實驗室的學生們組織了一個讀書會，於是我也跟著去聽，但是基本上聽不太懂，相關的知識積累太少，當時日語也不夠好。

就這樣，我本科期間對人工智慧一直抱有濃厚的興趣。後來大四的時候需要選實驗室和方向，我就選了這個實驗室。實驗室的教授是長尾真（Nagao Makoto），副教授開始是辻井潤一（Tsujii Junichi），後來是松本裕治（Matsumoto Yuji）。長尾老師研究自然語言處理和計算機視覺，辻井和松本老師主要研究自然語言處理，他們都做出了許多卓越的工作，在國際上享有很高的聲望。（辻井老師後來去東京大學任教授，他是我在東大的博士導師）。到了這個實驗室之後我就開始更多地接觸人工智慧，學習LISP語言，C語言，Prolog語言，開始做自然語言處理相關的研究，大四和碩士都是在長尾實驗室度過的，研究課題是自然語言生成。

回到你提的問題，我那時接觸的主要是傳統的人工智慧，對機器學習，特別是統計學習瞭解得並不多，只知道決策樹演算法ID3。當然，那時統計學習還沒有興起。

問：碩士畢業後，您就下定決心要從事人工智慧方面的研究工作了嗎？

也不是。我當時挺猶豫的，還不知道未來要做什麼。雖然已經接觸到人工智慧，也做過一點研究，但是都很膚淺，也不知道能否持續下去。那時我有一個學長去開公司，我想要不要也去嘗試一下。我也想過去美國讀博士，也考了TOEFL。

畢業前夕，碩士同年級的同學們組織去日本大公司參觀，我就跟他們一起去了。我們看了好幾家公司，包括東芝、NEC、NTT、日立、富士通，當時是日本經濟的鼎盛時期，這幾家公司不僅在日本，在國際上也做得非常好，他們的研究部門有不少優秀人才，也有很好的研究環境。日本有一個風氣，大家一般都不願意讀博士，很多人讀完碩士以後就到企業去工作，做研究，通過寫論文這種方式拿博士學位，很少有人選擇在學校讀博士。我覺得在企業做研究也不錯，就跟另外一個同學一起去了NEC的研究所。

在NEC的頭兩年，我在自然語言處理小組工作，主要做的是自然語言對話的研究，也不寫論文，主要是開發系統。我也沒有做機器學習相關的研究，因為九十年代初的時候，人工智慧、自然語言處理主流還都是基於手寫規則的。我對自己的未來也還是處於思考的狀態，沒有完全下定決心去做研究。

在這段時間裡，人工智慧領域發生了巨大的變化，特別是自然語言處理髮生了正規化轉移（paradigm shift），基於資料驅動、統計學習的方法展現出其威力，引起了廣泛的關注。（後來的二十多年裡基於統計學習的智慧化成為人工智慧的主流，而轉折點正是九十年代初那個時期）。

坦率地說，我對傳統的人工智慧一直喜歡不起來，我從骨子裡喜歡的是用漂亮的數學模型（principled approach）去有效地解決問題，而傳統的人工智慧的方法要麼缺乏數學模型，要麼不能解決實際問題，總是讓我感到哪裡不對。跟我一起工作過的同事、同學們，看過我的書籍、論文的同仁們，應該能感觸到我的這一信念：基於數學且有效的方法才是科學的方法，是我們應該追求的。我在高中時最喜歡、也最擅長的是物理，在我看來牛頓力學是科學方法論的第一個里程碑，而工程學也應該採取同樣的方法論，走同樣的路。當我看到IBM的Peter Brown等做的統計機器翻譯的工作的時候，感到強烈的震撼與由衷的欽佩，也開始傾向採用統計學習方法去解決自然語言處理的問題。記得當時還跟自然語言組的科長“吵了一架”。他說自然語言處理是“泥臭い”（汙濁）的，用漂亮的方法是解決不了的；我說我的結論正好相反，正因為自然語言處理是“泥臭い”的，才必須用漂亮的方法去解決。

1992年我換了組。從原來的自然語言處理組轉到了機器學習組，科長是安倍直樹（Abe Naoki）和山西健司（Yamanishi Kenji），他們在機器學習領域都做出了許多出色工作，是世界一流的研究人員，我從他們那裡學到了很多東西，現在安倍是IBM研究院的主任研究員，山西是東京大學教授。也就是從那個時候開始，我重新溫習了大學學過的概率統計學知識，系統地鑽研了隱馬爾科夫模型、決策樹、最大熵原理、最小描述長原理（MDL）等統計學習方法，寫過的筆記有十幾本。

1992年也是我人生中的一個比較重要的時間點，那年我決定以研究作為自己的職業。領導我們的部長叫中村勝洋（Nakamura Katsuhiro），他在我人生中的關鍵點上給過我很多重要的幫助。有一次我跟他聊，談到自己未來的職業發展，他說：你還猶豫什麼呀？我對你很瞭解，你就適合做研究，甭想別的了。

問：能介紹一下您做的博士工作嗎?

從1992年到1998年獲得博士學位這段時間，是我人生中最“苦”的時期，也是我在研究上成長最快的時期。我們機器學習小組以研究機器學習理論為主，考慮兩個應用領域：生物資訊與自然語言處理。我負責自然語言處理的研究，目標採用統計學習的方法獲取語義知識，用於自然語言處理，我也把它當作可能的博士研究的題目。1995年辻井老師調到東京大學任教授，我在他的指導下，開始把公司裡的實際研究工作整理成為博士論文，NEC的中央研究所在東京附近，去東大也很方便，我就開始經常去辻井實驗室，跟辻井老師討論問題。 我的博士論文提出了用最小描述長原理（MDL）學習語義語言知識的三個方法，工作主要是跟安倍做的，在自然語言處理頂級雜誌Computational Linguistics上發表了兩篇論文，之前好像沒有中國人在CL上發表過文章。辻井老師挺高興，他說：嗯，做得不錯，大家都說好。當時在自然語言處理領域裡大家都知道這些工作，算是我研究生涯的起點吧。

博士畢業後，我打算去美國發展，山西阻止了我，希望能跟他一起啟動文字資料探勘專案，在他的領導下，我開始做文字資料探勘，我和另外兩個工程師開發了問卷自動分析系統，當時還是挺先進的，我負責演算法的開發與實現。NEC的這個產品在日本被廣泛使用，據說現在該產品還在銷售。我和山西還在KDD會議上發表了一篇論文，介紹相關的工作。

問：能介紹一下您在微軟亞洲研究院的工作嗎？

2001年，我拿到了Xerox PARC的offer，準備去美國。微軟亞洲研究院（MSRA）自然語言組的主任研究員黃昌寧老師邀請我去訪問，並建議我考慮加入。第一任院長李開復博士提出了要將研究院建設成世界一流，亞洲第一的研究機構。這個願景深深地打動了我，我於是決定回國，加入他們的行列。MSRA確實是了不起的研究機構，我有幸跟許多優秀的研究人員在一起工作，從他們那裡學到了很多東西。

我在微軟做研究主要還是圍繞著公司的產品需求進行。開始是做文字資料探勘，以及企業搜尋，比較偏產品開發。SQL Server 2005中的文字資料探勘的工具就是我們開發的，跟我一起工作的主要是曹雲波博士。SharePoint 中的搜素功能也有不少我們的貢獻，2007年、2009年的版本里都有我們開發的技術，胡云華博士、徐君博士在這方面做了很多工作。

後來微軟決定做網際網路搜尋，我們又把研究方向放到了網際網路搜尋，這期間我成為主任研究員，領導更大的研究團隊。我們在產品開發方面的成績並不太理想，有一些產品轉化，但是貢獻都不太大。其中一個原因是跟Bing的團隊異地合作有不少困難。可喜的是我們在搜尋的基礎研究上取得了不少成果，特別是排序學習（learning to rank），語義匹配（semantic matching）方面，有不少業界領先的成果，對資訊檢索領域的發展做出了一定的貢獻。前者的研究主要是與劉鐵巖博士、徐君博士、秦濤博士等合作，後者的研究主要是跟徐谷博士、徐君博士、姜大昕博士等合作。

問：有人把上世紀九十年代初形容為人工智慧的冬天，在機器學習興起之前，人工智慧的發展遇到了瓶頸。您覺得今後人工智慧的發展有沒有可能會重蹈覆轍？

正如前面介紹的，我也經歷了那個人工智慧的冬天。我1987年開始涉足人工智慧領域，用的都是傳統的方法，當時這個領域還很火。但是到了九十年代初期，傳統的基於規則的人工智慧遇到了瓶頸，最典型的就是專家系統，做不下去了。當時甚至有一個說法，電腦科學裡面最沒學問的就是人工智慧。

我從1992年開始進入機器學習領域，有一種看到另一片天地的感覺。人工智慧現在基本上全靠機器學習在支撐，機器學習雖然有很多侷限，但是還是現在實現智慧的最有效手段。機器學習是會不斷地發展的，人工智慧也是如此，特別是現在的大資料為機器學習、人工智慧提供了很多新的機會。這方面大家如果感興趣，可以看看我的部落格，我的一些觀點寫在裡面。

人工智慧的發展會有起伏，但是不會出現以前那樣的冬天。因為現在基於機器學習的人工智慧做出來的東西很多是實打實的，像谷歌的自動駕駛就是用機器學習做出來的。而八十年代的專家系統，真正實用的成果幾乎是沒有的。但是現在人工智慧確實有點過熱，大家對人工智慧的期待過高，但這種現象會馬上冷卻下來。人工智慧發展可能還會出現起伏，但是會不斷地發展，螺旋式地上升，不會回到以前那樣的狀態。

問：您曾經給出過這樣一條建議，在選擇大學的時候，第一是導師，第二是學校，第三是專業。您從導師那裡獲得最大的收穫是什麼？

長尾老師說，做研究一定要做本質的研究。就是你做的東西不能可有可無，做研究不可以沉浸於自我滿足，要做出真正有用的東西。其實做到這一點很不容易。他還說，不一定要去做難的研究，而是要去做有意思的研究。很多人誤以為難的研究就是好的研究，未必是這樣，真正好的研究要有創新，要有價值，要有意思，這樣的東西未必很難。這些做研究的基本原則對我的影響還是很大的。

我在NEC的機器學習小組，只有六個人，大家都很優秀（我很不謙虛地把自己也放在裡面了）。這個小組被認為是世界一流，日本最強的機器學習研究團隊，後來我們都相繼離開了NEC, 現在大多數人在日本的大學當教授。那個環境對我的影響還是非常大的。

到了微軟以後，我在新的環境裡又得到了很多鍛鍊。在日本的時候，我還是跟著別人做，沒有作為一個leader帶領大家做，在微軟期間，我在研究方向的選擇，研究專案的管理方得到了很多鍛鍊，研究的能力有了進一步的提高。比如，怎樣提高自己的影響力，怎樣將產品開發與學術研究相結合，這些方面我在微軟亞洲研究院學到了很多。那裡有很多優秀的人，比如我入職時的院長張亞勤博士，後來的院長沈向洋博士，還有周圍許多優秀的同事對我的影響都是很大的。

所以，我建議大家選學校的時候，先考慮小環境，然後是大環境，最後才是學的內容。

諾亞方舟實驗室

“機器學習未來發展的方向，自然是不斷提高學習的能力，先是舉一反三，然後觸類旁通，也要無師自通，最後是積土成山。”

問：在計算機領域學術界跟產業界是否存在轉換的鴻溝？諾亞方舟實驗室在這方面是怎麼做的？

近年美國有不少的大學老師跳槽到工業界，因為工業界有很多現實的問題，有很多資料。無論做系統方面的研究或者演算法方面的研究，在工業界都更容易接觸到實際問題，也更容易去做實際的事情。Lada Adamic曾是密歇根大學的副教授，後來跑到Facebook去了，她寫了一篇有名的部落格《我為什麼離開了大學到了工業界》，在文章中她提出了以上的觀點。但是，我並不覺得計算機領域在大學做研究就失去了意義，在大學做研究有其價值與意義，需要更注重基礎、理論、長期的東西，定位應該跟工業界不同。

諾亞方舟實驗室是工業界的實驗室，我們希望能嘗試去闖出一條新的做研究的路子。我寫過一篇部落格，總結科學研究的歷程與模式。在牛頓的時代，很粗地說做研究是基於一些貴族的興趣愛好。1900年開始有了諾貝爾獎，做研究與名譽掛上了鉤。第二次世界大戰之前，貝爾實驗室成立了，研究與產業聯絡起來了（IBM、微軟等採用的都是貝爾實驗室模式）。二戰結束之後，美國成立了自然科學基金，政府投錢去做研究，研究又跟金錢綁在了一起。到了1998年穀歌成立，又創造一個新的模式，在那裡做研究跟產品開發幾乎都無縫地連線在一起，區分不出來是在做研究還是在做開發。

對於諾亞方舟實驗室來說，我們希望結合貝爾實驗室模式與谷歌模式的優勢。

一方面我們採用谷歌模式，我們跟產品線的工程師一起工作。比如，華為手機的應用搜尋和應用推薦，演算法是我們實驗室負責開發，這是我們自豪的事情，我們直接參與產品開發。我們也有研究人員到運營商、到銀行，跟工程師和客戶一起做大資料探勘的研究與開發。

貝爾實驗室模式又是另外一種，研究更加獨立於產品，先是獨立地去做研究，寫論文，做一些原型，然後拿到產品去應用，推廣。這種方法有它的優勢，有利於做超前的技術，產品部門沒有精力去做的技術。這種模式我們實驗室也採用。

我們實驗室運作的另一個特點是聚焦和top-down，就是以一兩個大專案為主去做。在大專案的驅動下，我們去做研究。我們也寫一些論文，但是在大專案的範圍內做，我們也做技術轉讓或產品開發，但作為大專案的階段性目標去做。我們的規模不是很大，成立兩年多，已經取得了不少業界領先的成果。我們做的研究，其實都是圍繞著一兩個大的主線。

問：我聽說你們做了一個利用遷移學習實現的智慧系統MoKA，現在MoKA研究的進展如何？

智慧化是未來手機的一個關鍵詞，我們當然在做這方面的研究，而且會一直做下去。華為去年在全球賣了7500萬部手機，這麼多使用者，我們終端部門的資料規模也是很大的，如何利用大資料把手機做得更加智慧化是我們研究的大方向。

華為手機去年推出了智慧問答功能，就是一個具體例子。使用者可以用自然語言問各種手機使用相關的問題，這個功能只有華為手機有，使用者很喜歡，我們的使用者數在不斷上升。相關的技術都是諾亞方舟實驗室開發的。

問：MoKA系統在你們的研究戰略中是什麼位置？

在MoKA專案裡我們目標開發的是未來的智慧化手機，這是我們一直要去做的。

問：遷移學習和終生學習，在諾亞方舟實驗室是一個研究重點嗎？

是的。我想談談我對的機器學習能力的分類。人工智慧創始人之一的Herbert Simon曾說過，當一個系統通過某個過程提高了某方面的效能的時候，這個系統就進行了學習，它就具備了學習能力。

如果是“循規蹈矩”的系統，它就不具備學習能力。程式設計師寫一些規則放在系統裡，系統按照規則去做，告訴它怎麼做就怎麼做，我們說這個系統就不具備學習能力。傳統的計算機系統都是這樣的。一個能學習的系統，它至少具備泛化能力，就是能夠“舉一反三”。比如看到一些照片上的人臉，它能學一個模型，然後做預測、做判斷，指出沒見過的照片裡是不是有人臉，這就叫有泛化能力。

但是為什麼人工智慧、機器學習還沒達到人的水平？現在機器學習能做到的舉一反三，就是泛化，比起人來說還差得很遠。人可能看三個例子就能夠學會，機器可能看三千個也學不會，它需要三萬個、甚至三十萬個。 另外，人的學習能力更強的一點是“觸類旁通”。比如說我學了游泳，也許能幫助我去學體操，甚至能幫助我去學跳舞，學習的知識、技能從一個地方擴充套件到另一個地方，這就是遷移學習的思想。現在的機器學習還不太能夠做到觸類旁通，遷移學習的研究有了一定進展，但是還有很多挑戰。諾亞方舟實驗室前主任楊強老師是世界著名的遷移學習專家，做出了許多領先的工作。

再進一步，計算機就是要不斷地去學習，現在的機器學習還有一個弱點就是不能將學到的知識積累起來，不斷擴大自己的能力，也就是不能“積土成山，積水成淵”，這個系統學完了這部分就只會做這些事，那個系統學完了那部分也只會做那些事，兩個不能結合起來。我認為這就是終生學習要解決的問題，現在業界開始做一些研究。

人還有一個學習能力，就是“無師自通”，這對應著機器學習中的非監督學習，比起監督學習，機器的非監督學習能力還很有限，也就是說，沒有指導機器很難學到相應的知識。

所以說機器學習未來發展的方向，自然是不斷提高學習的能力，先是舉一反三，然後觸類旁通，也要無師自通，最後是積土成山。還有很長的路要走。諾亞方舟實驗室對這些問題的研究都很重視，都會投入。

問：實驗室是否也在從事深度學習的研究？

我們也很關注深度學習，而且對深度學習進行了深入的研究，最近也有很多突破性的成果。

現在深度學習的一個熱點就是用深度學習去做自然語言處理和知識推理。這也是我們研究的一個重點，最近取得了業界矚目的成果，呂正東博士等在做相關研究。比如用深度學習提高機器翻譯的效能，翻譯評價的一個指標叫BLEU Score，人大概可以打六七十分，機器現在能做到四十來分，提高一兩個點都不容易。我們現在利用深度學習的技術，機器翻譯的BLEU Score比去年頂級會議ACL最佳論文的演算法提高了兩個點。另外我們也在用深度學習去做自然語言對話，目標是讓計算機能夠跟使用者用自然語言進行交流，這方面我們是較早開始做的，應該是業界領先的。

問：谷歌、百度這樣的公司他們的搜尋引擎上的資料量非常大，諾亞方舟實驗室在研究方向上跟他們是否有較大差異？

華為的主要業務是通訊裝置，手機，還有資料中心、伺服器，簡單的說就這三大部分。我們的業務跟谷歌、百度不一樣，所以也不好直接比較。

首先通訊方面，那才是真正的大資料，其實谷歌、百度的資料都是在通訊業的管道里面傳輸的。比如，北京有很多資料中心，資料中心之間的傳輸其實都是通過電信網路的，很多由華為提供裝置。這裡面有很多大資料的挑戰。手機方面，華為有1億多的註冊使用者，華為終端雲上積累的資料也是非常大的。

問：諾亞方舟實驗室的口號是“From Big Data To Deep Knowledge”。請問實驗室在資料探勘方面是否有一些突破性的或者是啟發性的研究成果？

我剛才提到了利用深度學習做自然語言對話，我們的系統在一輪的對話中的準確率能達到70%以上，這個用深度學習構建的系統說出來的話（自己說出來的，系統從來沒見過的），能讓你覺得很吃驚。比如你說“佔中終於結束了”，它跟著會說“下一個是不是陸家嘴？”。你說“我想買一個三星手機”，它會說“還是支援一下國產手機吧”。它從大量的資料裡面學到這種對話能力，其語言使用的複雜程度已經超出了我們的想象。

問：您寫過一篇談優秀工程師的文章。您曾經考慮過做工程師，後來您投身到科研，成為NEC的研究員，微軟亞洲研究院的主任研究員，諾亞方舟實驗室的首席科學家，現在是實驗室主任。您的工作是否跟做工程師有很大不同？

我其實很喜歡程式設計，雖然後來隨著工作性質的轉變，寫程式碼的機會越來越少。剛才提到，在NEC做研究的時候，我們做的產品裡面的演算法部分都是我寫的，那個產品現在還在賣，雖然他們可能重寫了程式碼，但是至少第一版的核心演算法是我寫的，還是很有成就感的。後來到了微軟，我更多的時候是領著大家去做，沒有時間自己動手了，是一件遺憾的事情。我們做的技術用在了不少產品上，包括SQL Server，以及SharePoint Search。能和大家一起做出這些產品我很自豪，希望有很多使用者使用而且喜歡，有了這種體會才寫了“如何做優秀的工程師”一文，希望自己能站在使用者的角度真正解決實際問題。

我曾經在部落格中寫過，做研究時候的思維方式和做工程師的思維方式應該是不一樣的。大家很容易混淆，有時候不知道自己應該處在哪種狀態，結果肯定是做不好。做研究，需要能夠更抽象、更長遠地看問題，解決更本質的問題，這是基本的定位，如果光是把一個實際問題解決了，肯定是不合格的。而做工程正好相反。

問：您覺得做科研工作的時候需不需要有做產品的思維？

需要，在大學需要（假設是計算機專業），在工業界更需要。在企業做研究，還是要有應用意識，商業意識的。需要想到做的東西大概運用在商業上可能會滿足什麼需求，能解決什麼問題，有什麼價值，大概是什麼定位，不能脫離了這些。雖然不需要去考慮產品化細節上的問題，但是你需要考慮，這種技術對於使用者來說解決的最本質的問題和需求是什麼，是否有用。

問：那您現在作為諾亞方舟實驗室的主任，角色跟以前又不一樣了吧？

是的，我要負責整個實驗室的研究工作，帶領大家一起去做。

建立諾亞方舟實驗室是我們老闆任正非提出來的。他在2011年，就預見到了大資料對未來產業發展的重要性，決定建立一個實驗室專門做大資料、機器學習、人工智慧方面的研究，那還是在大資料熱潮到來之前。我們的目標是成為世界一流的實驗室，克服資訊洪水的挑戰，為公司和人類創造美好的未來，也就是為什麼我們叫諾亞方舟實驗室的原因。受到這個願景的吸引，楊強老師、我、還有一批研究人員加入了華為。

我們實驗室的一位研究員曾經問我：我們的競爭對手是誰？我說：是我們自己。要做出世界一流的研究成果，我們要不斷提高自己，從優秀到卓越。我們所面臨的都是人類的技術挑戰，是否能夠一步一步戰勝困難，取得重大突破，主要看我們自己是否足夠強大。我們是有很多挑戰的，但是我們有信心做出世界領先的、有重大貢獻的研究。

---

更多精彩，加入圖靈訪談微信！