Artificial Intelligence，人工智慧，最近非常火熱的話題，也算是人類最美好的夢想之一。但是非常可惜，即便AlphaGO已經成功挑戰了人類智力遊戲的最後的一塊高地——圍棋，到目前為止仍然還沒有看到人工智慧產生“自我”意識的希望，也就說，人工智慧至少現在階段還無法超越人類智慧，即便在學習和識別方面，人工智慧和人類相比還是存在較大差距。
但是自 2006 年以來，深度學習的出現似乎讓人類重新看到了希望，至少通過圖靈測試不是那麼可望而不可及了。人類似乎找到了解決“抽象概念”的關鍵，在這十多年時間，隨著Google、Facebook、Amazon的加入更是加速了深度學習的發展，目前深度學習已經廣泛應用到資料搜尋、影像識別、語音識別、氣候預測、地理資料等等各個領域並且帶給了我們前所未有的體驗。
什麼是深度強化學習？
現在街頭巷尾都在談論的機器學習，其實是一個非常寬泛的概念，而其中最酷的分支要算是深度學習（Deeplearning）和強化學習（Reinforcement learning）了。谷歌的DeepMind就是將深度學習和強化學習這兩者的精髓合二為一，提出了深度強化學習。在2014年的時候，這個團隊就在《Nature》雜誌上發表了題為《Human-level control through deep reinforcement learning》的論文，讓業界對此充滿了期待。
深度學習起源於2006年，這要感謝機器學習領域的泰斗Geoffrey Hinton先生，是他在《Science》上的一篇著名論文開啟了深度學習的浪潮。Geoffrey Hinton先生是個非常勤奮的學者，老人家腰椎不是太好，寫個程式碼都得站著，而且還無法坐飛機，正所謂，偉大的人總要有偉大的付出，在此，向他致敬！
深度學習是一種機器學習中建模資料的隱含分佈的多層表達的演算法。換句話來說，深度學習演算法自動提取分類中所需要的低層次或者高層次特徵。因此深度學習能夠更好的表示資料的特徵，同時由於模型的層次、引數很多，容量也足夠，因此，深度學習模型有能力表示大規模資料，所以對於影像、語音這種特徵不明顯的棘手問題，反而能夠藉助深度學習在大規模訓練資料上取得更好的效果。而且由於深度學習將特徵和分類器結合到一個框架中，用資料去學習特徵，在使用中減少了手工提取特徵的巨大工作量，因此，不僅僅效果可以更好，而且應用起來也非常方便。因此深度學習在影像識別和語音識別方面獲得了巨大的進步。
強化學習，其實，就是一個連續決策的過程，其特點是不給任何資料做標註，僅僅提供一個回報函式，這個回報函式決定當前狀態得到什麼樣的結果（比如“好”還是“壞”），從數學本質上來看，還是一個馬爾科夫決策過程。強化學習最終目的是讓決策過程中整體的回報函式期望最優。
通過所謂的類似於人腦網狀結構的神經網路，深度學習是可以解決很多很實際的問題。例如谷歌的影像搜尋，Facebook的人臉識別，Skype的實時翻譯以及Twitter的色情語言識別。強化學習則將深度學習又往前推進了一步，一旦你建立起了一個玩遊戲的深度學習網路，你可以通過強化學習，讓它和自己進行比賽，自我進化。
事實上，在深度學習火熱之前，人工神經網路也曾熱鬧了一番。在 20世紀80年代末期，用於人工神經網路的反向傳播演算法（也稱Back Propagation演算法或者BP演算法）的發明，也曾掀起了基於統計模型的機器學習熱潮。當初人們希望利用BP演算法可以讓一個人工神經網路模型從大量訓練樣本中學習統計規律，從而對未知事件進行預測。但是實際上BP演算法距離這個目標還非常遙遠，90年代中後期BP熱潮就逐漸褪去。但是不管怎樣，BP帶來了很多新的思路，並且證明了基於統計的機器學習方法比基於人工規則的系統，確實在很多方面都要先進。Geoffrey Hinton先生就是在這股冷嘲中繼續堅持，最終開啟了深度學習的大門。
但是深度學習真的就像熱捧的那樣無所不能嗎？實際上，並非這樣，每次科學進步都會帶有兩面性，也同時存在著天生的缺陷，因此科學研究總會有很多思想分支，形成諸多學派，而每個學派都會針對某種場景或者問題再次深入分析。這就說明，機器學習也絕非深度學習這個分支領域能夠達到人工智慧所要求的。特別是在國內一窩蜂熱炒深度學習或者AlphaGO的時候，美國科學界仍然相當冷靜。其實，其他學派的進展顯然也是非常顯著，12月份《Science》的封面文章就是Brenden M. Lake等人撰寫的《Human-level concept learning through probabilistic program induction》。國內通常翻譯稱為《通過概率規劃歸納的人類層次概念學習》，而筆者認為採用“類人概念學習”這個詞語顯得更加貼切。這篇文章與谷歌在《Nature》發表的封面文章遙相呼應，共同為人工智慧的探索提供了思路，但很可惜的是，國內幾乎把這篇文章忽略了。
那什麼是“類人概念學習”？回答這個概念之前，我們先回顧一下深度學習，深度學習基於大資料通過多層網路實現對“抽象概念”的理解，顯然資料越多其效果相對就會越好，但是若沒有大資料怎麼辦？何況人類的知識也是一點點積累的，對於人類來說，即便沒有積累，沒有相應的專業知識，實際上我們也能“照貓畫虎”。從這點上來看，以深度學習為核心的人工智慧就遠遠不及人類，因為人類面對陌生環境依然能夠通過學習做出適應變化。因此“類人概念學習”首先就要解決深度學習的這種弊端，即不依賴大資料也能進行自我學習，筆者通常定義為“小樣本學習”。
“小樣本學習”的概念依然是太廣了，而且也不是什麼太新的概念，這個研究思路比神經網路的出現還要早很多年。筆者所提到的“小樣本學習”，核心就是貝葉斯規劃學習（Bayesian Program Learning，BPL），為了與深度學習（DeepLearning, DL）相區分，一般稱為BPL方法。BPL方法是利用引數的先驗分佈，由小樣本資訊求來的後驗分佈，直接求出總體分佈。這種方法使用概率去表示所有形式的不確定性，通過概率規則來實現學習和推理過程。
我們再來回顧一下Brenden M. Lake等人的論文，其中一張圖概括了BPL方法的流程：圖中parts部分學到的是提筆-落筆的這一段筆畫過程，sub-parts學到的是由於暫停分割開的更小的筆畫，這兩者結合就生成字元的模板object template，同時模板還分為attached along和attached at start兩種。論文中用來訓練的資料除了完整的字元以外，只有具體筆畫的樣本，總體可提供的資料樣本非常少。
兩種學習之間有什麼區別？
來看一下劍橋大學資訊工程教授Zoubin Ghahramani對貝葉斯規劃學習（BPL）的評價，他認為BPL對人工智慧、認知科學和機器學習是一個重大的貢獻。深度學習目前已取得了重要的成功，但是也必須非常清醒地認識到深度學習的侷限性，因為深度學習需要大量的資料，並且在很多工上表現很差。
深度學習（DL）主要解決的是計算機“運籌帷幄”的問題，實現“要從大量資料形成抽象”；而貝葉斯規劃學習（BPL）主要解決的是計算機“照貓畫虎”的問題，實現“僅從一個例子就形成概念”。打個比方來說，深度學習更會分析規律和預測趨勢，而貝葉斯規劃學習更會舉一反三和當機立斷。深度學習模仿人類大量閱讀書籍自我揣摩形成判斷，而貝葉斯規劃學習則是通過觀察單個案例進行迅速決策。當然，貝葉斯規劃學習的決策可能是錯誤的，特別是在沒有形成先驗概率的時候。
類人概念學習會是未來嗎？
那麼，以貝葉斯規劃學習為核心的類人概念學習將會是未來的主要方向嗎？回答這個問題之前，我們首先看下深度學習的奠基者Geoffrey Hinton先生對BPL方法的評價。Geoffrey Hinton先生首先肯定了BPL模型通過視覺圖靈測試的意義，他認為BPL方法最令人興奮的成果或許是能讓那些宣稱智慧計算機系統的學習方式與人類完全不同的批評者閉嘴，因為他們的主要論據正是計算機不能從單個例子中形成概念。
我們知道深度學習近年來取得了舉世矚目的成就，被廣泛應用在許多領域，例如內容搜尋、語音識別、影像識別等。但是現在看來，似乎貝葉斯規劃學習要比深度學習的表現更好一點，因為這種方法更加適合我們人類適應環境的方式。當然，兩種學習方法在不同的任務上還是獨具特色，各領風騷，假如能彼此借鑑，相互融合，一定能夠大幅提升人工智慧的水平。當資料量巨大但較混亂的情況下，深度學習能發揮優勢；而在資料量較少而清晰的情況下，貝葉斯規劃學習佔領上風。
筆者一直認為在科學研究中，哲學上的思路發展遠比技術本身更加重要！類人概念學習和深度強化學習的未來也必然是渾然融合成一體，只有這樣才符合人類學習和決策的過程，才真正能提升人工智慧的水平。筆者也曾藉助聲音和影像融合研究的基礎，花費大量時間研究這兩種方法的融合，並致力於設計出一個異構學習方法融合的混血系統，來解決大資料中的降維、異構問題，併發揮小樣本學習的優勢，利用人工智慧滿足我們實際生活中的事務性需求。
作者：聲學線上-陳孝良