李飛飛團隊新論文:新網路新策略,讓AI通過視覺觀察實現因果歸納
所謂因果,作為一個人類,你肯定並不陌生。
銀杏葉黃了,是因為寒露已至。你的肚子開始咕咕叫,是因為晚飯時間到了。
因果推理這個詞看上去並不日常,但事實上,這是人類在與現實世界進行互動時必不可少的能力。
對於AI來說,因果推理能力同樣很重要。隨著深度學習模型在各個領域取得巨大成功,其缺失因果推理能力的問題也逐漸暴露。沒有正確的因果模型,這些機器學習方法的泛化就很成問題,比如,給影像生成說明的模型有時候會生成一些脫離實際的說明文字。
如此AI,顯得很不智慧。
圖靈獎得主Judea Pearl就曾指出,機器學習的突破口在於“因果革命”。
現在, 李飛飛團隊帶來了他們在因果推理方面的最新研究:
讓人工智慧在視覺觀察中逐步生成因果圖,並有選擇性地根據誘導圖來決定行動。
所以,他們是怎麼樣賦予AI因果推理的能力的呢?
兩個階段
對於AI而言,因果歸納和推理是兩個不同的階段。
比如說,進入一個有許多燈的陌生房間,在不事先了解佈線的情況下,想要開燈,就得先試試各個開關,理清開關和燈之間的對應關係。
AI觸發開關的第一階段,就是因果歸納。在這一階段,智慧體通過執行動作並觀察結果,來發現潛在的因果關係。
第二階段是因果推理,智慧體使用已獲得的因果關係來決定行動,以完成任務。
為了建立有效的因果歸納和推理計算模型,必須在測試時完成對新的因果關係和新任務目標的概括。
第一階段,李飛飛團隊採用因果歸納模型,根據智慧體的 觀察資料構建因果結構,即 隨機變數的有向無環圖。
這裡採用的新技術,是迭代因果歸納網路。
迭代因果歸納網路
從原始的感官觀察中歸納出因果結構,需要準確地捕捉每個行為對環境的獨特影響,同時考慮其他行為的混雜影響。
研究團隊假設,最能概括因果關係的歸納網路將是一個能分解單個動作及其對應效果的網路,並且只更新因果圖的相關成分。
在迭代模型中,首先假設因果結構的邊緣權重為0(即沒有因果關係),並將觀測資料的每個幀對映到一個編碼。
然後,計算跨時間步長的狀態嵌入之間的差異(即,狀態殘差),並將其與相應的動作關聯起來。
這些資料被餵給邊緣解碼器模組(the Edge Decoder),該模組負責預測邊緣更新,以及用於衡量邊緣更新如何應用於節點的注意力向量。
最後,應用基於當前圖的更多邊緣更新,並輸出最終的預測圖。
第二階段,使用因果結構將目標條件策略置於背景之中,以執行指定目標的任務。因果結構的構造是顯式的,這樣,在long-horizon任務中,新的問題例項能更好地泛化。
研究團隊提出了基於注意力的圖編碼的目標條件策略(goal-conditioned policy)。
學習目標條件策略
這一策略的目的是給定一個初始影像,一個目標影像,以及預測的因果結果,在規定時間步長內完成既定目標。
輸入資料是當前影像,目標影像和預測因果圖。假設最佳策略專注於學習因果圖中與當前任務步驟相關的邊緣。
將當前影像和目標影像進行編碼。基於這一編碼,輸出因果圖中“效果”上的注意力向量,從而提取相關邊緣。然後,將其與影像編碼對應起來,預測最終動作。
實驗
新方法效果如何,還是要用實驗說話。
迭代因果歸納網路(ICIN)的比較物件,是使用時間卷積的非迭代歸納模型(TCIN)和不帶注意力機制的ICIN。
在絕大部分實驗條件之下,李飛飛團隊的方法(藍條)都要優於對照組。
One More Thing
學會因果推理的AI,有什麼用呢?
李飛飛團隊曾經造出這樣一隻AI,能“窺見未來”。
一個人從車後繞來,他是誰?要去哪兒?想幹什麼?
這隻AI不僅“預知”了線路,還答出了“開門”這個正確答案。
對於人類而言,做出這樣的預測並不難,以特定目的為導向,瞭解一個人的目的,就能推測他要去哪兒要做什麼。
同樣,對於AI而言,學會了因果推理,在完成目標導向任務時,就能事半功倍。
李飛飛團隊
論文一作,是史丹佛在讀博士Suraj Nair,曾在谷歌大腦實習。
他師從Silvio Savarese教授,也就是李飛飛的丈夫。
論文的另一位作者是Yuke Zhu是史丹佛SVL實驗室(Stanford Vision and Learning Lab)的一員,該實驗室由李飛飛,Silvio Savarese和Juan Carlos Niebles主導。
Yuke Zhu今年8月剛從史丹佛博士畢業,將於2020年秋季入職德州大學奧斯汀分校。
李飛飛和她的丈夫Silvio Savarese為論文的另外兩名作者。
論文地址:
https://arxiv.org/abs/1910.01751
— 完 —
https://www.toutiao.com/a6746021086636278280/
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2659490/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 李飛飛團隊最新研究成果:視覺AI讓醫院細菌無處可逃!視覺AI
- 業界 | 李飛飛團隊最新研究成果:視覺AI讓醫院細菌無處可逃!視覺AI
- 李飛飛「空間智慧」系列新進展,吳佳俊團隊新「BVS」套件評估計算機視覺模型套件計算機視覺模型
- 李飛飛團隊最新論文:如何對影像中的實體精準“配對”?
- 這麼多人,AI怎麼知道你說的是哪個? | 李飛飛團隊CVPR論文+程式碼AI
- AI學會了視覺推理,“腦補”看不清的物體 | 李佳李飛飛等的CVPR論文AI視覺
- 清華、李飛飛團隊等提出強記憶力 E3D-LSTM 網路3D
- 史丹佛大學李飛飛等人談AI醫療:病床邊的計算機視覺AI計算機視覺
- 李飛飛等提出新的迭代視覺推理框架,在ADE上實現8.4 %的絕對提升視覺框架
- 李飛飛團隊提出ReKep,讓機器人具備空間智慧,還能整合GPT-4o機器人GPT
- 華人包攬CVPR 2019最佳論文,李飛飛ImageNet成就經典
- 史丹佛AI實驗室換帥!Christopher Manning接替李飛飛AI
- 《自然》子刊:李飛飛等人展示ICU重症患者護理新可能
- 李飛飛解讀創業方向「空間智慧」,讓AI真正理解世界創業AI
- 微眾銀行AI團隊視覺化再獲新里程碑,兩篇論文獲EuroVis2020收錄AI視覺化
- OpenAI 再發 Sora 新短片,傳 Sora 兩週內推出;李飛飛團隊出品空間智慧版 ImageNet 丨 RTE 開發者日報OpenAISora開發者日報
- 捷視飛通視訊通訊系統實現菸草行業打假打私視覺化指揮行業視覺化
- SB 1047塵埃落定!州長否決,李飛飛等人有了新使命
- 李飛飛團隊提出OpenTag模型:減少人工標註,自動提取產品屬性值模型
- 出神入化:特斯拉AI主管、李飛飛高徒Karpathy的33個神經網路「煉丹」技巧AI神經網路
- 浙大畢業,李飛飛高徒朱玉可加盟UT Austin,曾獲ICRA 2019最佳論文
- 李飛飛親自撰文:大模型不存在主觀感覺能力,多少億引數都不行大模型
- 邂逅 CODING ,墨刀測試團隊實現「質」的飛躍
- 訊飛AI營銷:“數說”新時代單身女性生活觀AI
- 不開通iptv實現觀看網路電視
- 李飛飛團隊年度報告揭底大模型訓練成本:Gemini Ultra是GPT-4的2.5倍大模型GPT
- 李飛飛CVPR最新論文 | 「文字轉圖」效果優化可多一步:物體關係描述優化
- 李飛飛創業之後首個專訪:視覺空間智慧與語言一樣根本創業視覺
- 微軟程式歸納新技術:元程式歸納微軟
- 神經符號系統、因果推理、跨學科互動,李飛飛、Judea Pearl等16名學者共同探討AI未來符號AI
- 李飛飛最新訪談:我每天都在對AI的擔憂中醒來AI
- AI的新風口,能讓我們的遊戲行業起飛麼?AI遊戲行業
- UI 視覺分析在前端自動化的創新質量保障 - 尹飛UI視覺前端
- 李飛飛現身破離職傳聞,稱谷歌AI中國發展重質不在速谷歌AI
- 李飛飛專訪:AI不屬於某些小眾群體,AI屬於每個人AI
- 福布斯評選 8 位 AI 風雲女性,李飛飛、Coursera 創始人在列AI
- 【因果推斷論文】中國新冠死亡率更高?- 新冠死亡率的辛普森悖論
- 如何讓你的無線網路速度飛快