機器之能報導
編輯:Sia
三個技術關鍵詞:大語言模型、 Sim2Real 和 NeRF 技術,然後“一氣呵成”。
影片連結:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
“潛水”兩年後,以色列人形機器人公司 Meetee Robotics 釋出了首款雙足人形機器人 MenteeBot 原型影片。MenteeBot 身高 1.7 米,體重約 70 公斤,展示了端到端完成任務的能力——走到廚房將水果放到盒子裡,然後將盒子放到指定位置。整個流程,導航、運動、場景理解、物體檢測、抓取和自然語言理解,一氣呵成。
影片連結:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
值得注意的是,影片中的 MenteeBot 並不是透過一個命令來完成該任務的。人類首先告訴它去廚房,等機器人到了廚房後,再向它發出收拾水果的指令。機器人能否一次性完成同樣的任務還有待觀察。不過,Mentee Robotics 也指出,這還不是準備部署的最終版本。
Meetee Robotics 是一家頗有來頭的初創公司,核心創始人 Amnon Shashua 是耶路撒冷希伯來大學的電腦科學教授 ,也是全球最大高階駕駛輔助系統( ADAS )供應商 Mobileye 的創始人。Mobileye 曾是特斯拉的核心供應商,2017 年被英偉達以 153 億美元收購。後來,英特爾又以 167 億美元的價格將其送到納斯達克。
Amnon Shashua 現在仍是 Mobileye CEO ,也是好幾家知名 AI 公司創始人之一。其中,AI21Labs 作為最早將生成式 AI 帶給大眾的公司之一,也被視為 OpenAI 的強勁對手。
這位教授的頭銜可真多啊.......幾乎都站在了技術前沿上
基於這位核心創始人的經歷,幾乎可以預判 Mentee Robotics 核心技術至少覆蓋兩個重要領域。一個是生成 AI,當下最令人興奮的 AI 研究優勢就是大語言模型和機器人的結合,他也建立了一家生成式 AI 公司。另一個肯定與計算機視覺有關(想想自動駕駛),MenteeBot 可能僅使用基於視覺的攝像頭來感知周圍世界。
事實上,也正如 demo 所展示的,由於整合了大型語言模型,MenteeBot 能理解自然語言命令,執行任務,就像一個可以聽懂你的話,完成任務的小助理。接下來,由於三維重建技術神經輻射場( neural radiance fields,NeRF )已成為自動駕駛必不可少的關鍵技術之一,MenteeBot 也毫無懸念地採用了這一技術。有了 NeRF ,機器人就像獲得了 "3D 視覺" 能力,在接收到人類命令後,接著像人一樣實時感知和理解周圍環境,並定位自身,同時規劃動態路徑以避開障礙物。最後,機器人使用模擬器到現實 ( Sim2Real ) 機器學習方法,將模擬環境下規劃的運動透過步態和手部運動應用到現實世界中,走向目的地、完成抓取任務。
Amnon Shashua 表示,機器人的每個層面都整合了 AI。將這些技術無縫整合,MenteeBot 就能夠執行完整的任務流程——從理解人類的指令,到感知和分析環境,再到規劃和執行任務,一氣呵成。
從官方公佈的另外兩個影片來看,你會發現,心靈手巧是 MenteeBot 另一個特點(如下)。據說,工程團隊還開發了專有電機來增加機器人的靈活性。影片中,機器人可以握住並將不同家用物品遞給人而不損壞它們,可見手部非常靈活,動作也精準,適合做一些精細的家務活兒。
影片連結:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
在下面這個搬運重物的影片中,Mentee Robotics 展示了類似人類的平衡能力和控制力,在搬運重物時會自動調整步態保持平衡,比如側身行走或者彎曲關節部分。
影片連結:https://mp.weixin.qq.com/s/-2KcyFJCsioEGRchS3eGug
兩年前,Amnon Shashua 等人創立了 Mentee Robotics。公司在新聞稿中稱,“我們正處於計算機視覺、自然語言理解、強大而詳細的模擬器,以及從模擬到現實世界方法走向融合的風口浪尖。” 這種融合也構成了打造通用雙足機器人的起點,它可以自由在人類環境中行動,做家務,從模仿中快速學習。
除了 Shashua,創始團隊還包括 CEO Lior Wolf (也是前 Facebook AI 研究總監)以及 CTO Shai Shalev-Shwartz,他也是以色列耶路撒冷希伯來大學教授、現任 Mobileye CTO。到目前為止,該團隊已經幫助該公司籌集了 1700 萬美元。
Mentee Robotics 聯合創始人,包括 CEO Lior Wolf(左);董事長 Amnon Shashua(中)以及首席科學家 Shai Shalev-Shwartz(右)
Mentee Robotics 也在下一盤很大的棋,他們的人形機器人產品將分為兩個版本。一個準備進入千家萬戶,操持家務,能透過自然語言和視覺能力,快速學習新技能。另一個仍然面向工業場景,比如物流倉庫。MenteeBot 最多可承載 50 斤左右重的負荷,一次充電可執行長達 5 小時。Mentee Robotics 計劃在 2025 年第一季度推出一款可量產的原型。雖然價格成謎,但據說還是“負擔得起”。
參考連結
https://www.menteebot.com/