具身智慧創業如火如荼,技術路線是否收斂、以及資料來源的選擇,都是大家一直關心的問題。最近清華北大的團隊密集釋出了很多研究成果,我們或許可以從中分析出一些趨勢。
23 年初成立的銀河通用背後是前如布科技聯創尹方鳴和姚騰洲、科學家是北大助理教授王鶴。銀河通用是低成本模擬路線的擁護者,經過 2 年努力於近期重磅釋出了 GraspVLA,思路與 RoboCasa、RoboGen 等類似,在海量合成的模擬環境中合成機器人資料。但 GraspVLA 只關注抓取任務,將預訓練的 AnyGrasp 模型部署到模擬中採集大量資料來訓練一個 VLA。在模擬中可以加入很多隨機化、以提升 VLA 的泛化性。
2024 年 9 月成立的靈初智慧,CEO 是前京東機器人總裁王啟斌、以及機器人演算法負責人柴曉傑、李飛飛學生陳源培,背後科學家包括北大助理教授楊耀東和梁一韜。
與銀河通用類似,靈初智慧也是在模擬環境中大規模預訓練模型,但在模仿學習中加入了強化學習技術、以及真機資料對齊微調訓練,使得即使只用少量模擬和真機資料也能做到很泛化的複雜任務,實現不同技能順滑串聯操作。2024 年 12 月底釋出的 Psi R0 模型完成了雙手協作長程的泛化打包任務,已展現出了該模型能實現真正商業化的強大潛力。
靈初智慧此前的其他成果,比如 lego 組裝也是長程的靈巧手任務,可以突破過去強力抓取的能力邊界、完成更靈活的抓取和靈巧動作。根據之前的公開資訊,靈初智慧將於 3 月份釋出自研本體以及更泛化的具身大模型。
在資料選擇方面,23 年 9 月成立的清華系星海圖持完全不同的觀點,他們認為資料價值上,真機資料 > 網際網路資料 > 模擬資料。星海圖 CEO 是 Momenta 前執行董事高繼揚,科學家包括清華助理教授趙行和許華哲。他們計劃今年釋出 100 萬條真機資料、明年釋出 1000 萬條真機資料。
星海圖計劃採用真機資料為主來預訓練具身大模型、而不是靈初和銀河那種大規模模擬資料預訓練。但以大規模真機資料為主存在 diverse 不足的問題,無法湧現泛化。
在模擬資料方面,星海圖強調 Real2Sim2Real 後訓練。模擬資料只作為後訓練的一個強化劑,將真實資料在模擬中加入隨機化來擴充 1000 倍,以實現更高的成功率和更好的落地效果。
三家清北團隊在演算法和資料選擇上略有不同。靈初智慧在演算法上強調強化學習、銀河在資料上強調模擬、星海圖強調真實資料。不過各家都採用了模擬和真實資料結合的方法,只是在預訓練和後訓練上強調不同的資料比例。
期待這幾家準獨角獸公司在未來帶來更多的驚喜。清華北大是具身智慧創新的先鋒,近期還有很多有意思的成果。比如清華星動紀元 ERA-42、北大與國地共建具身智慧中心 RoboMind、北大與智元 OmniManip、清華千尋智慧 CoPa 和 Data Scaling Law 等工作都很值得分析。