（張鈸院士） 後深度學習時代的人工智慧

2017-08-29 演講實錄 | 張鈸院士：深度學習與資訊保安，如何從“事後諸葛亮”到“防患於未然”？

7月31日在清華大學舉辦的“人工智慧與資訊保安”清華前沿論壇暨得意音通訊息技術研究院成立大會上，有6位來自不同領域的特邀嘉賓受邀前來，為大家帶來精彩的演講。

本章為張鈸院士演講實錄。按照張院士要求，文章採用文字＋PPT的形式釋出。

張鈸：清華大學計算機系教授，中國科學院院士。1958 年畢業於清華大學自動控制系，2011 年漢堡大學授予自然科學榮譽博士。曾任清華大學學位委員會副主任，參與建立智慧技術與系統國家重點實驗室。現任微軟亞洲研究院技術顧問。參與人工智慧、人工神經網路、機器學習等理論研究，將這些理論應用於模式識別、知識工程與機器人等技術研究。曾獲國家教委高等學校出版社頒發的優秀學術專著特等獎、 ICL 歐洲人工智慧獎等。在7月31日得意音通訊息技術研究院成立大會上，張鈸院士接受得意音通邀請，出任研究院學術委員會聯席主任。

演講題目：深度學習與資訊保安

張鈸：很高興有機會來演講，今天我要講的兩個都是最熱門的話題，一個是深度學習，一個是資訊保安。我講的主題是：人工智慧改變資訊保安的未來；資訊保安促進人工智慧的未來發展。

（全文共7000字，閱讀時間約12分鐘——略）

機器有了自我解釋的能力，才能實現人機的結合。

提問環節

提問1：非常榮幸傾聽您的報告。因為我現在做大資料，以後想往人工智慧領域轉，或者把大資料與人工智慧結合，對我以後的研究方向有一些迷茫。能不能請您給我點撥點撥？

張鈸：大資料有什麼特點？過去大家講到很多特點，核心都是圍繞著資料量如何之大，變化如何之快等。其實這都沒有抓住要害，其中有一條要害，並沒有引起大家注意。因為我們現在講的大資料特別是指網路上來自大眾的資料，這個資料對人工智慧才有意義。傳統的氣象資料，資料量也很大，但和我們這裡談的“大資料”有所不同。我們現在講的大資料主要指生資料，即沒有煮熟的（沒有經過加工）的，不僅僅指非結構化，特別是指資料裡面有價值的東西很少，大部分是無用的、比如造謠的、不符合事實的等等，這種資料我們過去沒有遇到過。我們過去遇到是科學資料，最多在測量中引入一些噪聲而已。這就給傳統的處理方法帶來困難。我們不能不遇到新的問題，比如，什麼叫做“有用”？什麼叫做“沒用”？很難定義。也可以說，屬於知其然不知其所以然的問題。

傳統資訊處理中的噪聲很容易定義，比如，“白噪聲”有很嚴格的數學定義，搞一個濾波器就很容易把它濾掉了。現在遇到了“垃圾郵件”，又怎麼定義，什麼是“垃圾”，什麼是“非垃圾”？所以我們現在講的大資料，確實需要用深度學習這類人工智慧的方法來處理。

提問2：非常感謝有機會跟您直接面對面學習。AI今後怎麼走，您剛才講的很多更多是基於集中式學習、基於中心化的，未來到5G或更廣以後的網路空間，更多來自於邊緣計算和分散式計算，怎麼樣和AI有一個結合點？

張鈸：對分散式計算我不是很熟悉，我回答你前面一句話，人工智慧今後怎麼走？我講過，人工智慧現在比較容易解決的問題，需要滿足四個條件：擁有大量的資料或知識；確定性；完備性（完全性或完全資訊）；單領域。這類問題只佔現實問題的很小一部分。計算機容易解決的問題有，數值計算，下圍棋（Alpha Go），下象棋（深藍）等等屬於這一類。如果這四個條件中有一個或者多個不滿足，對人工智慧來講就困難了。所以人工智慧未來研究的方向，就是當這四個條件中有一個或多個不滿足時，我們怎麼去解決它，這就主要涉及許多問題：

不確定資訊的處理，不完全資訊該如何處理等，下圍棋、下象棋是完全資訊，對方怎麼下、你怎麼下，大家都一清二楚，打橋牌就不是一回事了，這叫做不完全資訊博弈，需要不同的解決辦法。。

又比如領域擴大。最簡單的例子是無人駕駛汽車，開始大家信心比較足，以為短期內就能實現。其實，馬路的路況千變萬化，是一種開放的環境，存在大量的不確定性和未知性的動態環境；車輛駕駛涉及的領域知識很寬，有馬路、行人、自行車、路牌、訊號燈等。現在的深度學習方法儘管本事很大，當遇到開放的環境時，也顯得束手無策，因為機器不可能預先學習所有的路況，一旦出現新路況機器就難以應對了。

人工智慧現在比較合理的做法是，我們不能只盯著“深度學習”這棵樹，必須回過去想一想，人工智慧在創立的前五十年都做了什麼事，這些事今天不少是被遺忘和忽視了的。比如，知識表示、推理、強化學習、基於知識的學習等等。人工智慧已經走過六十多年的路，我們不能只看到這十幾年，而忘掉前五十年的歷史，這段歷史是由人工智慧的先驅們開拓出來的，他們當時的想法多數並沒有錯，只是在當時的條件下，由於計算機能力弱、資料缺乏等原因，沒有發展起來。我們應該回望前五十年的歷史，重新審視當時的各種思想、方法與技術，把它們跟深度學習結合起來，以開拓人工智慧的未來。

---

2016年10月22日 清華大學張鈸院士起底： 後深度學習時代的人工智慧

張鈸：CCF會士，2014CCF終身成就獎獲得者，中國科學院院士，計算機專家，清華大學類腦計算研究中心學術委員會主任。曾任資訊學院學術委員會主任物聯網物聯網，智慧技術與系統國家重點實驗室主任，中國自動化學會智慧控制專業委員會主任，計算機學報副主賓，2011年德國漢堡大學授予自然科學名譽博士，2016年獲微軟研究員接觸合作貢獻獎等。從事人工智慧理論、人工神經網路、遺傳演算法遺傳演算法、分形和小波等理論研究，以及把上述理論應用於模式識別、知識工程、智慧機器人與智慧控制等領域的應用技術研究，共發表論文200多篇，中英文專著4部。

---

今年是人工智慧60週年，如果用人生的起步來衡量的話，已經進入了老年，不過還是有很多人希望人工智慧能提供成熟的成果和技術，用來發展產業、發展經濟進行科學研究。我今天做的報告，將通過分析時代的特點，這個時代下人工智慧與計算機的可能命運，來重新認識人工智慧，我們賴以生存的計算機，還有我們自己。

後深度學習的前提－人工智慧的春天又來了

如今人工智慧的春天又來了，不過和30年前在日本的那次相比，時間不同、地點不同，主題也不同，這一次是關於人工智慧第二個成果，深度學習相關的。

• 從知識情報處理到深度學習
• 從第五代計算機到類腦計算機
• 從大容量知識庫到大資料
• 從高速符號推理到類腦晶片
• 從自然語言理解到感知（機器人）

我想這一次是不是我們的機會，我們能不能彎道超車還是又一個日本的“五代機”？

我的看法是這兩個可能性都存在，關鍵我們怎麼做。

中國有句老話，三十年河東，三十年河西，和30年前比現在有何不同？

在我眼裡兩點，一點是大資料，另一點是概率統計方法（及其理論）。正是因為這兩個因素催生了現在的深度學習大潮。

這個第一點大資料我不用宣傳，大家看這個圖就行。

這是在這種啟發下建立的神經網路模型，這裡神經網路模型裡要著重講下概率統計方法論，兩個詞，一個貝葉斯推理，一個概率統計，被“引進”了人工智慧，並使得人工智慧發生了革命性的變化。

其實很多人不知道，作為對當下人工智慧有根本性貢獻的概率統計，30年前的它跟現在的它還有很多不同。就是下圖的四個里程碑。

我們現在能夠做深度學習，能夠在幾百萬、幾千萬的引數下做優化，很多人都以為是計算機變快，其實不完全是，而是要歸功於概念統計方法的變化。這個變化使得我們現在能把深度學習做好。就是上面四個里程碑的出現，大家一定要注意上面的四個里程碑。

後來這些里程碑進一步發展成神經網路了，特別是深度學習，使用多層網路進行學習。所謂深度，就是層數比較多。由於用的深度學習方法，把模式識別、影像識別等識別方法的準確度提高了10%，這個事情又引起了深度學習的熱。

為什麼呢？

因為深度學習解決了一個問題，有相當一部分人，按中文的說法，我們知其然，不知其所以然。我能識別了了馬，但我們描述不了馬，然後怎麼辦？那就用深度學習辦法：

• 它可以解決一些不能完全表述的問題，也就是說“知其然，不知其所以然” 的問題。
• 第二個它能針對不確定性的問題，我們不斷的變化，我可以不斷的再學習.
• 最後，它能解決不能清楚表達的問題。

另外，深度學習還有一個完全改變傳統神經網路的作用，它不僅僅做函式對映，更重要提取那些多層次重複的模式，這是我們講的真正公共的特徵。

這樣使我們做模式識別可以達到很高的水平，後來這些用到模式識別、用到語音，包括用到文字（現在正在做，但是效果不如前面，但也有一些效果），效果都很不錯。

我們可以這麼來說，深度學習這個第二個人工智慧提供出來的成果，可以幫助我們解決在給定的資料庫下，有了可利用的大資料，在感知資訊處理上，有可能達到人類的水平甚至超過人類的水平。

後深度學習時代的人工智慧

後深度學習時代的人工智慧，就是想把人工智慧從這個狹義的，只能解決一定範圍的方法，推廣更寬廣的範圍去，這就是我們現在講所謂的弱人工智慧、強人工智慧、以及通用人工智慧。

那我們要做這個工作面臨什麼挑戰？

基本上面臨三個挑戰。

1. 一個是概念統計方法帶來的困難。

我們剛剛說概率統計方法，對人工智慧起到了革命性的變化，但是也給人工智慧帶來極大的挑戰，這就是概念統計本身的原因——通過大量的資料，它只能搞出來重複出現的特徵，或者是資料中間的統計關聯性，它找出來的不是本質上的特徵、語義上的特徵，它找出來的關係，也不是因果關係，而是關聯關係。

這樣做的後果是什麼？這裡有深度網路做出來的手寫數字識別系統，各種各樣的2它都能認出來，它聲稱它這個效能超過了人，識別能力很超前 。

但你們看，當我們用這種噪聲去欺騙它，它可以用99.99%的置信度確認它是2，這在人是不可能發生的，為什麼機器會發生，因為機器去認識這種0和1，不是根據0和1本身的性質來認識，而是通過黑白分佈的統計性質來認識它，因為這排噪聲跟2的統計是一樣的，所以才有這樣的錯誤。

這個在模式識別上沒有問題，但如果用到決策就會出現大錯，它甚至可以把一塊石頭看成是馬。這個問題非常嚴重，也就是說深度學習區分的是重複的模型，但大腦區分的是語義的特徵，這兩種區分有本質的區別，但是有關聯。

2）第二個，生資料帶來的問題。

大資料有很多好處，其實大資料帶來很大問題。我們現在大資料跟以前的大資料不一樣，大量的資料是生資料。我們看網路上傳來的資料都是摻雜了很多噪聲，有騙人的，有各種垃圾，這種資料叫生資料。大家看下機器對於生資料和經過加工的資料的魯棒性表現相對很差，不像人。

如果我們用右邊的圖去訓練這個神經網路，它能很好認識的貓；如果用左邊的圖，它很難認識，因為它不知道貓在哪兒。這個吳教授在我們學校做報告的時候，我跟他開玩笑說，你老說你的好成果，不說你的毛病，它為什麼能在貓臉與人臉的識別上都識別地非常好，因為它用訓練例的時候，是經過精心挑選的，沒有背景，沒有經過加工。因此，這三樣東西的識別都做地非常好。但如果正例、負例都隨便取，那它的識別率只有百分之十幾，幾乎不認識，可見機器跟人的認識形式是很不一樣，它非常不魯棒。

3）第三個，推廣能力，領域遷移。

這兩種方法都是就事論事，都很難推廣到不同領域，這就是我們的挑戰。我們要從一個弱的智慧到通用智慧，必須要克服這種困難，如果解決這種困難，目前來講兩個解決辦法。

兩個解決辦法

1. 一個辦法，是人工智慧的這兩個方法結合起來，因為這兩個方法是互補的。

因為：

• 知識驅動跟語義掛鉤，是理解；
• 資料驅動是黑箱的方法，不理解，但可以保持從資料中提取模型。

那麼，前面那個必須有人工做模型，這個地方關鍵在哪兒？

知識驅動方法是用離散的符號表示，深度學習是用高維空間裡頭的向量，這兩個東西我們如果能把它 “溝通” 起來，就會把人工智慧推動非常大地一步，現在世界上很多機構也在做這件事。

2. 另外一個辦法，就是回到神經網路的本源。

它是根據神經網路和深度學習藉助於人腦神經的工作機制來形成的，人的神經網路有一套辦法，這套辦法可以借鑑到現在的人工神經網路來，這個工作，世界上也有很多機構在做。

我們一般把計算方法、深度學習，這兩個東西如果能夠溝通起來，現在主要做的溝通，這兩個方法結合起來就會把人工智慧推廣大大的應用。

第二個，我一個文字看起來洋洋灑灑數萬頁，我為什麼知道這裡面說的是什麼，因為不同區域性的，我怎麼從區域性的資訊，把它整合成為全域性的認知，這個大腦裡面也有一套辦法，這裡面也涉及到很多研究。如果我們把這些研究移植到這個地方來，把人工智慧往前走一步。

後深度學習的計算機

現在對計算機有這麼幾個批評，一個你能耗太大，大腦這麼大強，才25W，你這一個計算機得多少？另外一個批評，就是對馮諾依曼結構，人腦裡面是處理跟儲存在一起，你處理跟儲存分開，所以對對現在的計算機說三道四。

我想給大家吃一個定心丸，現代的計算機，我們這個人工智慧學會（裡的人）還是可以靠它維持很長時間的。首先，現在大家討論最熱的一個是個量子計算、一個是類腦計算。大家不要量子計算一出來現在的計算就不行了，不對了。因為量子演算法，目前只有一個演算法，它就是因子分解，它可以把指數變成多樣性，其它的都沒用。其它的，這個計算機即使它出來，只有涉及到因子分解那些演算法，它有可能加快，其他它目前還沒有演算法，算不了。所以量子計算機現在絕對代替不了現在的計算機，就像量子通訊代替不了現在的通訊一樣。

我想給大家吃的第二個定心丸，現在講的類腦計算，正確地講叫Brain Inspired Computer，而不是Brain like，大腦你都不知道什麼樣子，你like誰呢。

如何建造計算，實現人工智慧的兩種途徑，計算機方式或者學大腦的方式。資料提高了，加一個網路晶片，目前做這個工作的人基本上都得保留一些馮諾依曼架構，不能把馮諾依曼立馬取消了。當然也有人直接從右邊往左邊做，這個是屬於基礎研究的一類，我們要做的話，這個類腦就需要學科的交叉，我特別推薦要數學、認知科學、心理學、神經科學和語言學等。

最後說一下，人工智慧究竟有多大的希望呢？取決於我們對認知的世界的認知，取決於我們對自身的瞭解多少？

好了，我們把我們對自身的瞭解分成兩個部分，左邊部分是“我們知道we know”，右邊那部分叫做“我們不知道”，所以我們把它畫大一點。
我們知道的東西的白色的部分，這就是“我知道的知道”，這就是知其所以然更知其所以然，這就是白盒。（We know what we know）

比如說下國際象棋，就是我們能說清楚，我們知其所以然，又知其所以然，這個用傳統的人工智慧模型可以解決它。

我們知道的下方黑色部分，是“我們不知道的知道”。（ We don't know what we know）。

這是黑箱，感知就是這樣，我們知其所以然，不知其所以然，我們知道那是張三，但我們說不清楚張三鼻子多高眼睛多大，那怎麼辦，用深度學習。

從黑箱到白箱中間有個灰色地帶，好多問題有的說清楚，有的說不清楚。最典型的就是圍棋，圍棋有一部分能說清楚，而象棋都能說清楚，馬為什麼這麼走，卒為什麼要向前走，圍棋絕大部分一顆白子為什麼要落在這個地方，大師也說不清楚，他會說這是我的棋感。

棋感怎麼做？這就是AlphaGo的重大貢獻，把棋感當作模式識別來做，你看到這個版面以後，你就應該知道怎麼落子，這個版面就是一個模式，現在我們現在可以說，大師下圍棋下得好，不是因為它太聰明瞭，而是他的模式識別能力非常強，棋子有一點點變化，他就知道變了，就知道我的策略要變，這個就是用傳統模型+深度學習，AlphaGo就是這麼做的，蒙特卡洛搜尋＋深度學習。這就是我們不知道的知道。

還有藍色的部分，我們是不知道，但是我們（清楚地）知道我們不知道。（We know what we don't know）

比如情感、意識等等，這個也能夠用深度學習的方法來模擬，至少做到表面模擬。人工智慧能做的這麼多，這就是人工智慧的厲害之處，為什麼大家注意到，過去除了白色的部分，其它部分我們都不能做，人工智慧卻能夠做這一切。

但是唯獨黃色這部分，我們都不知道我們不知道。（We don't know what we don't know）

我們都不知道怎的情況下怎麼做呢？腦科學研究覆蓋了所有，所以，我們的資訊是建立在這個基礎上，我們不知道的我們不知道，變成我們知道的我們不知道，再把它變成我們知道的我們知道。傳統的演算法只佔在白色部分的一小部分，也就是說可以建立數學模型的問題，所以，我們為什麼說人工智慧寄予這麼大的希望，原因就在這兒。

我就說這麼多，謝謝大家。