DeepMind讓AI系統擁有記憶,教機器學習系統舉一反三打遊戲
機器學習系統現在適用於很多型別的任務,但它們也有一個共同的問題:學得不一定快,但忘得很快。
比如說,DeepMind訓練神經網路玩雅達利遊戲時,給系統輸入Space Invaders的訓練資料,它就學會了玩Space Invaders;再輸入打磚塊的訓練資料,它就學會了打磚塊,卻忘了Space Invaders該怎麼玩。
最近,DeepMind和倫敦帝國理工學院的研究人員已經建立了一種演算法,允許該系統的神經網路自主學習,保留資訊,並再次使用它。
相關論文發表在《美國國家科學院院刊(PNAS)》,摘要地址:
http://www.pnas.org/content/early/2017/03/13/1611835114.abstract
全文PDF:
http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf
以下是對DeepMind這項新進展的介紹,
來源:新浪科技 ID:techsina
人工智慧(AI)系統能夠學會一款雅達利(Atari)遊戲,然後利用這些知識再學習另一款遊戲。
2014年當DeepMind的機器學習系統學會玩雅達利遊戲時,突然引人矚目地躍入公眾視線。這套系統可以把遊戲打通關,得分比人類還高,但卻不記得它是怎樣做到的。
該系統玩每一款雅達利遊戲時,都要單獨建立一組神經網路,因此,如果不能同時為人工智慧輸入《空間入侵者》(Space Invaders)和《打磚塊》(Breakout)的資訊,就不能在同一個系統上玩這兩款遊戲。現在,一組DeepMind和倫敦帝國理工學院的研究人員已經建立了一種演算法,允許該系統的神經網路自主學習,保留資訊,並再次使用它。
“以前我們有一個系統可以學著玩任何遊戲,但它一次只能學會玩一款遊戲,“DeepMind的研究科學家詹姆斯·基爾克帕特里克(James Kirkpatrick)說,他是該系統最新研究論文的主筆。“在此我們展示了一個系統,可以一個接一個地學習玩幾個遊戲。”
這篇論文發表在美國國家科學院學報上,解釋了DeepMind的AI系統如何運用有監督學習和強化學習測試等方式來不斷學習。該公司的部落格文章也對此做了說明。
電腦科學家在論文中寫道:“不斷完成學習任務而不遺忘的能力是生物和人工智慧的核心組成部分。”基爾克帕特里克說,如今,神經網路和人工智慧中的“重大缺陷”已無法從一個任務傳遞到下一個任務。
研究小組表示,已經能夠在“突觸整合”的基礎上展示“持續學習”,在人腦中,這個過程被描述為“學習和記憶的基礎”。
為了讓AI系統擁有記憶,DeepMind研究人員開發了一種名為“彈性權重固化”(EWC)的演算法。論文指出,“我們的方法是通過有選擇性地減慢高權重任務的學習速度來記住舊的任務。”基爾克帕特里克解釋說,該演算法可以選擇在遊戲中成功通關的做法,並把最有用的部分保留下來。
“我們只允許它們(在遊戲間)非常緩慢地做出改變,”他說,“如此一來,我們就有了學習新任務的空間,但是我們所進行的改變不會覆蓋我們以前學過的東西。”
為了對演算法進行測試,DeepMind採用了深度神經網路,它被稱為Deep Q網路(DQN),以前曾被用來征服雅達利遊戲。然而,這一次DQN使用的是“增強的”EWC演算法。研究人員隨機選擇了十款雅達利遊戲來測試演算法和神經網路,AI的表現足以與人類玩家相媲美。每款遊戲被玩過2000萬次之後,系統自動切換到下一款雅達利遊戲。
“以前,DQN不得不單獨學習如何玩一款遊戲,”文章寫道。“DQN在EWC的助力下功能大增,可以不再經歷災難性的遺忘過程,連續不斷地學會玩很多遊戲。”
從本質上講,使用EWC演算法的深度神經網路能夠學習玩一個遊戲,然後將已學會的知識加以轉換,再去玩下一個全新的遊戲。
然而,這套系統還不完美。雖然它能夠學習以前的經驗,並保留最有用的資訊,但它的神經網路無法像只完成一個遊戲那樣運轉良好。
“當下,我們已經證明了AI系統能夠不斷學習,但我們還無法證明它的學習效率有所提高,”基爾克帕特里克說。“下一步我們將利用和規範連續學習,嘗試和改善它在現實世界的學習活動。”(斯眉)
相關文章
- 擁有記憶的可變形材料,正在讓AI七十二變|AI的朋友(一)AI
- Antted 門戶資訊系統 v1.0.0 讓您快速擁有門戶系統
- 弘積科技SuperSR:讓業務系統擁有自愈能力
- 好的CRM系統擁有哪些功能
- Windows10系統如何設定虛擬記憶體讓系統執行更快Windows記憶體
- 你擁有的第一個SuperMemo記憶系統,可以瀏覽這個網頁網頁
- 開源機器學習系統(一)機器學習
- 讓XP系統遠離記憶體讀寫錯誤記憶體
- 商機管理系統擁有哪些特點
- 如何讓AI系統擺脫偏見AI
- [BUG反饋]編輯【系統-系統管理-選單管理】有個BUG
- AI-OCR讓RPA擁有一雙慧眼AI
- Parallels Desktop | 一款好的虛擬機器讓你輕鬆擁有雙系統Parallel虛擬機
- 教務管理系統
- 作業系統-記憶體管理作業系統記憶體
- 作業系統——記憶體管理作業系統記憶體
- 如何擁有一個 Windows 10 和 Debian 10 的雙系統Windows
- 如何讓CRM系統與ERP系統一體化?
- 搭建容易維護難!谷歌機器學習系統血淚教訓谷歌機器學習
- 面試每日一題005:常見的遊戲經濟系統有哪些?(系統向)面試每日一題遊戲
- 如何選擇CRM系統?值得推薦的CRM系統需要擁有什麼功能?
- 異構記憶體及其在機器學習系統的應用與優化記憶體機器學習優化
- 今天重灌一次系統--教訓
- 吳恩達機器學習筆記 —— 12 機器學習系統設計吳恩達機器學習筆記
- 列舉系統裝置
- 機器學習 — 推薦系統機器學習
- Sieve—Android 記憶體分析系統Android記憶體
- 作業系統記憶體管理概述作業系統記憶體
- UNIX系統記憶體檢視方法記憶體
- 作業系統記憶體管理-原理作業系統記憶體
- 【作業系統】記憶體管理概述作業系統記憶體
- 建立機器學習實戰系統的十大經驗教訓機器學習
- 觀遠AI實戰 | 機器學習系統的工程實踐AI機器學習
- Win10系統中“系統和壓縮記憶體”佔用大量記憶體如何解決Win10記憶體
- 筆記本重灌系統,詳細教您筆記本怎麼重灌win10系統筆記Win10
- 系統對不同語言程式有不同記憶體管理機制?記憶體
- 一種基於記憶體的檔案系統tmpfs記憶體
- kswapd 耗盡系統記憶體 kscand 耗盡系統cpu的解決記憶體