「源神」稚暉君又雙叒叕開源,這一次機器人直接進入人類生活!

机器之心發表於2024-12-30

近期開源的 Deepseek V3,讓國產 MoE 大模型在全球圈粉無數,一躍成為中國 AI 圈的頂流擔當。


而作為中國具身智慧的領軍企業,智元也在2024年底放了個大招,攜手上海人工智慧實驗室等單位重磅開源了AgiBot World,具身智慧領域也迎來了「ImageNet」時刻!

AgiBot World(智元世界)—— 一個彙集百萬真實機器人資料的開源資料集。在這個具身資料的世界裡,機器人不再只是進行簡單的桌面任務,而是全方位融入我們的日常生活。機器人和人類和諧相處世界的大幕,正在徐徐拉開。

2024,哪個場景最符合你對未來機器人的想象?

作你的「家務管家」,洗衣、做飯都交給它?

還是化身「打工人」在超市揀貨、收銀、整理貨架?

亦或是工廠裡的「永動機」,搬運、打包,不斷電不下班?

這些「科幻片」裡的場景已經在路上了!

歡迎來到 AgiBot World,一個彙集百萬真實機器人資料的開源資料集。具身應用,資料先行,作為具身領域的 ImageNet,智元世界有望成為引領我們進入具身智慧新時代的「通關密碼」,讓機器人的世界更加真實,從此告別「NPC」人生!

  • 專案開源地址

HuggingFace:https://huggingface.co/agibot-world

Github:https://github.com/OpenDriveLab/agibot-world

  • 專案主頁:https://agibot-world.com/

是的,你沒看錯,加持了 AgiBot World 的百萬真機資料,機器人的控制已經如此精細。現在就能在你家客廳優雅地插花了。

整套動作行雲流水,用金屬製的機械手抓取,嬌嫩的花材也完好無損。

圖片

刷馬桶這事,等到機器人「出師」後也能放心交給他,再也不用全家抽籤確定誰去刷了。圖片

圖片

具身智慧領域的 ImageNet 何時到來?

圖片

Open X-Embodiment, ICRA 2024

谷歌 DeepMind 透過整合來自 22 種不同本體機器人的資料構建了 Open X-Embodiment資料集,但大部分資料缺乏統一標準化的採集流程且許多機器人構型已經過時資料質量格式參差不齊,在機器人策略學習的過程中甚至會帶來副作用。

為實現規範化的資料採集,來自史丹佛、伯克利、谷歌等構建了 DROID 資料集,儘管涵蓋了相對豐富的場景與技能,然而作者團隊在後續研究中指出 DROID 存在大量低質量資料,從而給機器人的學習過程造成「困惑」。

一些具身大模型初創公司基於自採集的大規模高質量雙臂機器人資料訓練的模型展現出了整理、分揀、洗衣等執行復雜動作的能力,這進一步印證了高質量資料在當前具身智慧領域研究階段的重要性,但相關資料集目前僅在公司內部使用,並未開源。

AgiBot World

讓高質量機器人資料觸手可及

為了進一步推動通用具身智慧領域研究進展,讓高質量機器人資料觸手可及,作為上海模塑申城語料普惠計劃中的一份子,智元機器人攜手上海人工智慧實驗室、國家地方共建人形機器人創新中心以及上海庫帕思,重磅釋出全球首個基於全域真實場景、全能硬體平臺、全程質量把控的百萬真機資料集開源專案 AgiBot World。

這一里程碑式的開源專案,旨在構建國際領先的開源技術底座,標誌著具身智慧領域 「ImageNet 時刻」已到來。

透過匯聚頂尖資源與技術力量,各方將共同推動具身智慧發展新正規化,加速人類邁向通用人工智慧的新時代,在全球範圍內奠定中國在這一前沿領域的領導地位。

AgiBot World 是全球首個基於全域真實場景、全能硬體平臺、全程質量把控的大規模機器人資料集。

相比於 Google 開源的 Open X-Embodiment 資料集,AgiBot World 的長程資料規模高出 10 倍,場景範圍覆蓋面擴大 100 倍,資料質量從實驗室級上升到工業級標準。

多樣任務,十八般武藝樣樣精通

  • 插記憶體條的過程需要毫米級精細控制,稍有不慎可能導致裝置損壞,如神經纖維般靈敏的末端觸覺感測器助力機器人精準對接。圖片
  • 飯後勺筷碗盤層層堆疊在洗碗池中,在這條資料中,機器人將雜亂的餐具一一準確無誤地整理至洗碗機相應卡槽中,整理洗碗機的操作流程長、動作繁瑣。圖片
  • 熨衣服是個「精細活兒」,只見機器人雙手協作,一隻手穩穩抓住襯衫的一角,另一隻手精準控制掛燙機與衣物的距離,細緻地熨燙每一道褶皺,讓衣物煥發平整光澤。圖片
  • 對於大件物體搬運,單機器人難以完成。兩個機器人分工協作,可以分擔重量,也能實時調整位置與角度,以確保物體搬運過程中穩定安全。圖片
AgiBot World 資料集收錄了八十餘種日常生活中的多樣化技能,從抓取、放置、推、拉等基礎操作,到攪拌、摺疊、熨燙等精細長程、雙臂協同複雜互動,幾乎涵蓋了日常生活所需的絕大多數動作需求。
圖片
全域場景,上得廳堂下得廚房

AgiBot World 誕生於智元自建的大規模資料採集工廠與應用實驗基地,空間總面積超過 4000 平方米,包含 3000 多種真實物品,真實復刻了家居、餐飲、工業、商超和辦公五大核心場景。

全面覆蓋了機器人在生產、生活中的典型應用需求,為機器人提供了一個高度真實的生產生活環境。圖片
透過多場景的高度還原與任務設計,AgiBot World 為機器人研發和測試構建了實現具身智慧的必要條件。

  • 家居場景再現真實住宅佈局,包括臥室、客廳、廚房、衛生間等核心空間,可以實現家務清潔、物品整理和廚房任務等
  • 超市場景高度還原超市貨架佈局與收銀區設計,包含生鮮、日用、冷凍等多個品類區域,可以模擬物品上架、貨物盤點、顧客引導、無人結算等
  • 餐廳場景實現智慧服務體驗,模擬前廳、後廚與用餐區域,包括點餐檯、備餐區、餐桌等,可以實現餐廳服務(點餐、上菜、清理餐桌)、食材傳遞、後廚協作等
  • 工業場景模擬分揀與物流自動化,復刻工業倉庫與生產線,包括分揀系統、打包裝置、傳輸帶等,可以實現物料分揀、包裝打包、物流搬運等

客廳、書房、餐廳、衛生間、廚房和工廠等都是機器人大顯身手的舞臺。

在客廳,它可以使用工具工具給地面來個全面大掃除,碎屑、灰塵和液體都「無處可逃」。圖片
電視機表面容易積灰,交給機器人吧!它可以精確控制撣子撣灰,或者用軟布來清理桌面的汙垢,同時避免劃傷表面。圖片
廚房也可以交給機器人承包了。給它食材和配方,分分鐘就能給你變出一盤精緻沙拉,切菜、拌料、裝盤全都會,也可以控制清潔工具對瓶內外進行刷洗。

瓶子髒了?碗要洗?躺平吧,這些都交給它們!圖片
在超市,機器人可以精準控制掃碼搶掃描、結算貨物,還附贈裝袋一條龍服務。圖片
在工廠,機器人在流水線上利用機械臂精準控制將物品放入指定的包裝盒中,實現物品自動打包。圖片
AgiBot World 包含超過 100 種真實場景,按家居(40%)、餐飲(20%)、工業(20%)、商超(10%)和辦公(10%)進行分佈。

此外,80% 的任務為長程任務,時長集中在 60s-150s 之間,且涵蓋多個原子技能,是 DROID 和 OpenX-Embodiment 工作的 5 倍。該資料集包含了 3000 多種物品,基本涵蓋了這五大場景,並且仍在不斷擴充套件和豐富中。
圖片 場景和任務分佈
圖片
各個場景物品分類
圖片
資料集時長分佈

全能硬體,沒有金剛鑽難攬瓷器活「源神」稚暉君又雙叒叕開源,這一次機器人直接進入人類生活!
  • 360° 感知:8 個攝像頭環繞式佈局,能夠實時全方位感知周圍環境的動態變化。
  • 靈巧操作:可配備具有 6 個主動自由度的靈巧手,保障動作精準且靈活,能夠完成熨衣服等多種複雜操作。
  • 末端精細感知:標配末端六維力感測器,並可配備高精度視觸覺感測器,能夠感知力的微小變化,做到「拿捏有度」,從容完成各種精細操作。
  • 高自由度:全身最高 32 個自由度,靈活應對洗衣、做飯、分揀、搬運等複雜任務。
圖片
質量把控,嚴師出高徒

AgiBot World 對資料質量要求極高,透過專業培訓、多級質量把控、全程人工在環,在做到超大規模真實資料採集的前提下,嚴格精細化控制資料質量。

  • 任務設計:從設計初稿和設計迭代流程中,邀請了學術界、工業界、消費者多視角進行任務把關。這樣設計出的任務更加貼近真實的工作和生活場景。
  • 資料採集:從採集員培訓到採集質量把控,由完善的管理體系和專業的管理團隊進行全程保障。
  • 稽核標註:對於採集的資料,首先會經過端雲兩側的嚴格篩選,自動剔除不符合要求的資料。此外,專業的稽核員會對全量資料進行逐幀稽核,確保每一個動作都符合任務標準,並對關鍵幀和資料特性進行多維度標註。
  • 演算法驗證:透過人工稽核的資料還會進一步透過演算法進行驗證。對於未能透過驗證的資料,會重新設計任務進行資料補採,確保資料可用性。
圖片
據智元透露,他們還為即將到來的 2025 年攢了一波「大招」,小小地劇透一下:

1. 百萬真機全量資料將陸續開源
2. 千萬模擬資料同步推送,支援更泛化和更通用的大模型訓練
3. 釋出具身基座大模型,支援模型微調,賦能千行百業
4. 釋出全套工具鏈,實現採集、訓練和評測完美閉環
5. 舉辦一系列 AgiBot World Challenge
……

那我們先一把期待住了,且看明年,智元又會帶來哪些驚喜?

相關文章