DeepMind讓AI系統擁有記憶，教機器學習系統舉一反三打遊戲

weixin_34026276發表於2018-01-10
AI機器學習遊戲
本文來自AI新媒體量子位（QbitAI）

640?wx_fmt=png&wxfrom=5&wx_lazy=1

機器學習系統現在適用於很多型別的任務，但它們也有一個共同的問題：學得不一定快，但忘得很快。

比如說，DeepMind訓練神經網路玩雅達利遊戲時，給系統輸入Space Invaders的訓練資料，它就學會了玩Space Invaders；再輸入打磚塊的訓練資料，它就學會了打磚塊，卻忘了Space Invaders該怎麼玩。

最近，DeepMind和倫敦帝國理工學院的研究人員已經建立了一種演算法，允許該系統的神經網路自主學習，保留資訊，並再次使用它。

相關論文發表在《美國國家科學院院刊(PNAS)》，摘要地址：

http://www.pnas.org/content/early/2017/03/13/1611835114.abstract

全文PDF：
http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf

以下是對DeepMind這項新進展的介紹，
來源：新浪科技 ID：techsina

人工智慧（AI）系統能夠學會一款雅達利（Atari）遊戲，然後利用這些知識再學習另一款遊戲。

2014年當DeepMind的機器學習系統學會玩雅達利遊戲時，突然引人矚目地躍入公眾視線。這套系統可以把遊戲打通關，得分比人類還高，但卻不記得它是怎樣做到的。

該系統玩每一款雅達利遊戲時，都要單獨建立一組神經網路，因此，如果不能同時為人工智慧輸入《空間入侵者》（Space Invaders）和《打磚塊》（Breakout）的資訊，就不能在同一個系統上玩這兩款遊戲。現在，一組DeepMind和倫敦帝國理工學院的研究人員已經建立了一種演算法，允許該系統的神經網路自主學習，保留資訊，並再次使用它。

“以前我們有一個系統可以學著玩任何遊戲，但它一次只能學會玩一款遊戲，“DeepMind的研究科學家詹姆斯·基爾克帕特里克（James Kirkpatrick）說，他是該系統最新研究論文的主筆。“在此我們展示了一個系統，可以一個接一個地學習玩幾個遊戲。”

這篇論文發表在美國國家科學院學報上，解釋了DeepMind的AI系統如何運用有監督學習和強化學習測試等方式來不斷學習。該公司的部落格文章也對此做了說明。

電腦科學家在論文中寫道：“不斷完成學習任務而不遺忘的能力是生物和人工智慧的核心組成部分。”基爾克帕特里克說，如今，神經網路和人工智慧中的“重大缺陷”已無法從一個任務傳遞到下一個任務。

研究小組表示，已經能夠在“突觸整合”的基礎上展示“持續學習”，在人腦中，這個過程被描述為“學習和記憶的基礎”。

為了讓AI系統擁有記憶，DeepMind研究人員開發了一種名為“彈性權重固化”（EWC）的演算法。論文指出，“我們的方法是通過有選擇性地減慢高權重任務的學習速度來記住舊的任務。”基爾克帕特里克解釋說，該演算法可以選擇在遊戲中成功通關的做法，並把最有用的部分保留下來。

0?wx_fmt=gif&wxfrom=5&wx_lazy=1

“我們只允許它們（在遊戲間）非常緩慢地做出改變，”他說，“如此一來，我們就有了學習新任務的空間，但是我們所進行的改變不會覆蓋我們以前學過的東西。”

為了對演算法進行測試，DeepMind採用了深度神經網路，它被稱為Deep Q網路（DQN），以前曾被用來征服雅達利遊戲。然而，這一次DQN使用的是“增強的”EWC演算法。研究人員隨機選擇了十款雅達利遊戲來測試演算法和神經網路，AI的表現足以與人類玩家相媲美。每款遊戲被玩過2000萬次之後，系統自動切換到下一款雅達利遊戲。

“以前，DQN不得不單獨學習如何玩一款遊戲，”文章寫道。“DQN在EWC的助力下功能大增，可以不再經歷災難性的遺忘過程，連續不斷地學會玩很多遊戲。”

從本質上講，使用EWC演算法的深度神經網路能夠學習玩一個遊戲，然後將已學會的知識加以轉換，再去玩下一個全新的遊戲。

然而，這套系統還不完美。雖然它能夠學習以前的經驗，並保留最有用的資訊，但它的神經網路無法像只完成一個遊戲那樣運轉良好。

“當下，我們已經證明了AI系統能夠不斷學習，但我們還無法證明它的學習效率有所提高，”基爾克帕特里克說。“下一步我們將利用和規範連續學習，嘗試和改善它在現實世界的學習活動。”(斯眉)

原文釋出時間：2017-03-15

相關文章