2個月不見,人形機器人Walker S會疊衣服了

机器之能發表於2024-04-02

機器之能報導

編輯:吳昕

國內版的人形機器人+大模型組隊,首次完成疊衣服這類複雜柔性材料的操作任務。

隨著融合了 OpenAI 多模態大模型的 Figure 01 揭開神秘面紗, 國內同行的相關進展一直備受關注。

就在昨天,國內“人形機器人第一股”優必選釋出了人形機器人 Walker S 深入融合百度文心大模型後的首個 Demo,展示了一些有趣的新功能。

2個月不見,人形機器人Walker S會疊衣服了

影片連結:https://mp.weixin.qq.com/s/EqoHAIYMs3bEIiqWE8vR2A

現在,得到百度文心大模型能力加持的 Walker S 是這個樣子的。

圖片

影片連結:https://mp.weixin.qq.com/s/EqoHAIYMs3bEIiqWE8vR2A

和 Figure 01 一樣,Walker S 沒有走動,而是站在桌子後面完成一系列任務。它可以聽從人類的命令,摺疊衣物。

2個月不見,人形機器人Walker S會疊衣服了

影片連結:https://mp.weixin.qq.com/s/EqoHAIYMs3bEIiqWE8vR2A

完成任務後,你還可以和它聊天。比如問詢這件黑色上衣搭配什麼比較合適?機器人依然記得你要出差這件事,建議搭配深色褲子更適合正式場合。

2個月不見,人形機器人Walker S會疊衣服了

影片連結:https://mp.weixin.qq.com/s/EqoHAIYMs3bEIiqWE8vR2A

它還會將桌子上的各種開關歸置到盤子裡。

2個月不見,人形機器人Walker S會疊衣服了

影片連結:https://mp.weixin.qq.com/s/EqoHAIYMs3bEIiqWE8vR2A

即使被干擾,比如歸置好的開關又被扔回桌子上,或者眼看就要拿到手的插座又被移開了,Walker S 都能實時調整工作狀態,根據新情況完成歸置任務。

2個月不見,人形機器人Walker S會疊衣服了

影片連結:https://mp.weixin.qq.com/s/EqoHAIYMs3bEIiqWE8vR2A

2 月,在新能源車廠實訓時, Walker S 就已展現出多模態感知與運動控制能力。
2個月不見,人形機器人Walker S會疊衣服了

影片連結:https://mp.weixin.qq.com/s/EqoHAIYMs3bEIiqWE8vR2A

此次,透過與文心大模型的深度融合,Walker S 的認知和操控能力再上臺階,不僅獲得了高階意圖理解和細粒度任務規劃能力,更首次完成了疊衣服這類複雜柔性材料操作任務。

文心大模型系文心產業級知識增強大模型,具備跨模態、跨語言的深度語義理解與生成能力,還有知識推理、任務規劃等能力。透過將這些能力移植到人形機器人,可以讓機器人像人一樣對衣物的材質、形狀、褶皺等屬性進行分析和理解,並根據過往經驗推理出最佳的疊衣方式和順序。在實際疊衣過程中,機器人會實時分析衣物的狀態變化,並相應地調整自己的動作策略。

在物體干擾分揀任務中, Walker S 也充分發揮了"AI 大模型+機器人"的協同優勢。首先,透過端側的多模態感知模型獲取物體的空間定位和語義資訊,再將這些資訊交由大模型進行智慧處理,後者憑藉其出色的任務拆解和邏輯推理能力為 Walker S 快速構建出最優的任務規劃和執行路徑。Walker S 則將這套方案對映到機械臂和靈巧手的實際操控中,最終流暢完成整套複雜任務。

此舉也是國內同行類似能力的首秀,其創新應用和實現難度在全球範圍內也屬於行業第一梯隊水平。“在很多展示中,包括 Figure 與 OpenAI 合作、我們與百度的合作,目前可以實現端到端。” 優必選管理層在昨晚的業績回顧與展望會上向第一財經記者表示。

“我們利用了百度的大模型對任務的拆解、對自然語言的理解和順序邏輯排列等。除了公司去年基於開源模型訓練構建的基於端側的多模態大模型外,我們認為未來人形機器人市場競爭越來越激烈的情況下,強強聯合才能實現1+1>2。”優必選管理層解釋這次合作時稱,“國外特斯拉有大模型能力,有 OpenAI、英偉達與 Figure 的結合等,可以看到合作能為人形機器人落地提供強大技術支撐。”

不過,透過對比 OpenAI 的影片,我們發現被賦能後的 Walker S 仍然與 Figure 01 存在差距。

最明顯的是動作速度。另外在指令內容上,Walker S 所接收的指令通常比較明確和具體,Figure 01 則能根據更加抽象的指令,藉由常識推理將其轉化為合理可行的具體操作。

此外,Figure 01 能一邊幹活一邊閒聊(尤其是解釋自己的操作),並具備短期記憶能力,可根據之前的對話內容來合理規劃當前的行動。

隨著生成式 AI 競爭的日趨激烈,以及研究重點從長文字、多模態延伸到具身智慧,我們有理由相信未來的人形機器人將不再侷限於感知靜態資料,而是能夠在虛擬乃至真實的三維世界中自由行動、與環境互動。這也標誌著 AI 將實現從簡單的機器學習到複雜類人任務執行的重大跨越。

事實上,人形機器人賽道在過去半年已呈現出異常火熱的勢頭,國內外原型機頻頻亮相,初創公司融資活躍。2 月優必選曝光 Walker S 在蔚來新能源汽車工廠試用的影片,機器人可以流暢完成安全帶檢測、車標貼附等工作。優必選股價也曾於 3 月初兩天暴漲 200%。

不過,目前全球人形機器人仍處在試點階段,規模化放量仍需時間。畢竟 ,demo 和實際應用的差別非常大,後者更要通盤考慮可靠性、穩定性、成本等一系列要素。優必選方面表示,AI 大模型與人形機器人的結合,將極大提升後者的智慧化水平和多場景任務適應能力,加快其產業化程序。創始人周劍也公開表示,希望今年年底完成第一批人形機器人在工廠的落地,透過測試併為 2025 年人形機器人形成批次爆發做準備。此外,今年年底優必選計劃推出第一代家庭端情感陪護人形機器人,該機器人將搭載大模型,能與使用者互動並形成短期、長期記憶。

參考連結

https://www.stcn.com/article/detail/1164967.html

相關文章