DeepMind認為他們的神經網路可以實現類似人類的想象力 - kdnuggets

banq發表於2020-09-17
神經網路

為了在深度學習代理中實現“想象力”，DeepMind團隊依賴於稱為I2A的聰明的神經網路架構。I2A體系結構的關鍵元素是一個稱為Imagination Core的元件，該元件使用環境模型，在獲得有關當前環境的資訊的情況下，對其未來狀態進行預測。
對於指定過去的狀態和當前的動作，這個環境模型可以預測下一個狀態以及來自環境的任何數量的訊號。I2A體系結構透過使用當前的實時觀測值初始化想象的軌跡，然後將模擬的觀測值輸入到模型中，在未來的多個時間步驟中推出環境模型。每個部署中產生的操作有助於定義代理策略，然後由Imagination Core模組使用該策略。
 
為了檢查I2A模型的執行情況，DeepMind團隊建立了一個嘗試玩著名的推箱子游戲的實現。推箱子是一個經典的計劃問題，模型必須將多個箱子推入給定的目標位置。因為只能推箱子（而不是拉箱子），所以許多動作都是不可逆的，而且錯誤會使拼圖變得無法解決。因此，人類玩家被迫提前計劃動作。想象力增強的模型展示了從不完善的環境（如Sokoban）中學習的驚人能力，DeepMind團隊將I2A模型與更傳統的深度RL技術進行了基準比較，結果令人矚目。I2A達到了令人震驚的85％的效能，大大優於其他策略。
 推箱子實驗最令人印象深刻的收穫之一是：增強想象力的機器學習模型能夠在可能不完美的環境模型中想象軌跡並忽略不準確資訊的能力。鑑於越來越多的場景需要AI使用不完善的資訊和有限的資料進行操作，因此這種能力特別重要。
 
想象力是人類思維中將我們與其他物種區分開的那些神奇特徵之一。從神經科學的角度來看，想象力是大腦在沒有任何直接感覺輸入的情況下形成影像或感覺的能力。想象力是我們學習過程的關鍵要素，因為它使我們能夠將知識應用於特定問題並更好地計劃未來的結果。當我們執行日常生活中的任務時，我們不斷地“想象”潛在的結果，以最佳化我們的行動。毫不奇怪，從認知的角度來看，想象力通常被認為是進行計劃的基礎。
想象力是可以為新一代AI開啟大門的關鍵功能之一。諸如I2A之類的技術仍處於起步階段，但可以成為強化學習體系結構的關鍵組成部分，在這種體系結構中，機器人不僅能夠學習現在，而且能夠“想象”未來。​​​​​​​
 

相關文章