近期開源的 Deepseek V3,讓國產 MoE 大模型在全球圈粉無數,一躍成為中國 AI 圈的頂流擔當。
而作為中國具身智慧的領軍企業,智元也在2024年底放了個大招,攜手上海人工智慧實驗室等單位重磅開源了AgiBot World,具身智慧領域也迎來了「ImageNet」時刻!
AgiBot World(智元世界)—— 一個彙集百萬真實機器人資料的開源資料集。在這個具身資料的世界裡,機器人不再只是進行簡單的桌面任務,而是全方位融入我們的日常生活。機器人和人類和諧相處世界的大幕,正在徐徐拉開。
2024,哪個場景最符合你對未來機器人的想象?
作你的「家務管家」,洗衣、做飯都交給它?
還是化身「打工人」在超市揀貨、收銀、整理貨架?
亦或是工廠裡的「永動機」,搬運、打包,不斷電不下班?
這些「科幻片」裡的場景已經在路上了!
歡迎來到 AgiBot World,一個彙集百萬真實機器人資料的開源資料集。具身應用,資料先行,作為具身領域的 ImageNet,智元世界有望成為引領我們進入具身智慧新時代的「通關密碼」,讓機器人的世界更加真實,從此告別「NPC」人生!
專案開源地址
HuggingFace:https://huggingface.co/agibot-world
Github:https://github.com/OpenDriveLab/agibot-world
專案主頁:https://agibot-world.com/
是的,你沒看錯,加持了 AgiBot World 的百萬真機資料,機器人的控制已經如此精細。現在就能在你家客廳優雅地插花了。
整套動作行雲流水,用金屬製的機械手抓取,嬌嫩的花材也完好無損。
刷馬桶這事,等到機器人「出師」後也能放心交給他,再也不用全家抽籤確定誰去刷了。
具身智慧領域的 ImageNet 何時到來?
Open X-Embodiment, ICRA 2024
谷歌 DeepMind 透過整合來自 22 種不同本體機器人的資料構建了 Open X-Embodiment資料集,但大部分資料缺乏統一標準化的採集流程,且許多機器人構型已經過時,資料質量格式參差不齊,在機器人策略學習的過程中甚至會帶來副作用。
為實現規範化的資料採集,來自史丹佛、伯克利、谷歌等構建了 DROID 資料集,儘管涵蓋了相對豐富的場景與技能,然而作者團隊在後續研究中指出 DROID 存在大量低質量資料,從而給機器人的學習過程造成「困惑」。
一些具身大模型初創公司基於自採集的大規模高質量雙臂機器人資料訓練的模型展現出了整理、分揀、洗衣等執行復雜動作的能力,這進一步印證了高質量資料在當前具身智慧領域研究階段的重要性,但相關資料集目前僅在公司內部使用,並未開源。
AgiBot World
讓高質量機器人資料觸手可及
為了進一步推動通用具身智慧領域研究進展,讓高質量機器人資料觸手可及,作為上海模塑申城語料普惠計劃中的一份子,智元機器人攜手上海人工智慧實驗室、國家地方共建人形機器人創新中心以及上海庫帕思,重磅釋出全球首個基於全域真實場景、全能硬體平臺、全程質量把控的百萬真機資料集開源專案 AgiBot World。
這一里程碑式的開源專案,旨在構建國際領先的開源技術底座,標誌著具身智慧領域 「ImageNet 時刻」已到來。
透過匯聚頂尖資源與技術力量,各方將共同推動具身智慧發展新正規化,加速人類邁向通用人工智慧的新時代,在全球範圍內奠定中國在這一前沿領域的領導地位。
AgiBot World 是全球首個基於全域真實場景、全能硬體平臺、全程質量把控的大規模機器人資料集。
相比於 Google 開源的 Open X-Embodiment 資料集,AgiBot World 的長程資料規模高出 10 倍,場景範圍覆蓋面擴大 100 倍,資料質量從實驗室級上升到工業級標準。
多樣任務,十八般武藝樣樣精通
插記憶體條的過程需要毫米級精細控制,稍有不慎可能導致裝置損壞,如神經纖維般靈敏的末端觸覺感測器助力機器人精準對接。 飯後勺筷碗盤層層堆疊在洗碗池中,在這條資料中,機器人將雜亂的餐具一一準確無誤地整理至洗碗機相應卡槽中,整理洗碗機的操作流程長、動作繁瑣。 熨衣服是個「精細活兒」,只見機器人雙手協作,一隻手穩穩抓住襯衫的一角,另一隻手精準控制掛燙機與衣物的距離,細緻地熨燙每一道褶皺,讓衣物煥發平整光澤。 對於大件物體搬運,單機器人難以完成。兩個機器人分工協作,可以分擔重量,也能實時調整位置與角度,以確保物體搬運過程中穩定安全。
家居場景再現真實住宅佈局,包括臥室、客廳、廚房、衛生間等核心空間,可以實現家務清潔、物品整理和廚房任務等 超市場景高度還原超市貨架佈局與收銀區設計,包含生鮮、日用、冷凍等多個品類區域,可以模擬物品上架、貨物盤點、顧客引導、無人結算等 餐廳場景實現智慧服務體驗,模擬前廳、後廚與用餐區域,包括點餐檯、備餐區、餐桌等,可以實現餐廳服務(點餐、上菜、清理餐桌)、食材傳遞、後廚協作等 工業場景模擬分揀與物流自動化,復刻工業倉庫與生產線,包括分揀系統、打包裝置、傳輸帶等,可以實現物料分揀、包裝打包、物流搬運等
360° 感知:8 個攝像頭環繞式佈局,能夠實時全方位感知周圍環境的動態變化。 靈巧操作:可配備具有 6 個主動自由度的靈巧手,保障動作精準且靈活,能夠完成熨衣服等多種複雜操作。 末端精細感知:標配末端六維力感測器,並可配備高精度視觸覺感測器,能夠感知力的微小變化,做到「拿捏有度」,從容完成各種精細操作。 高自由度:全身最高 32 個自由度,靈活應對洗衣、做飯、分揀、搬運等複雜任務。
任務設計:從設計初稿和設計迭代流程中,邀請了學術界、工業界、消費者多視角進行任務把關。這樣設計出的任務更加貼近真實的工作和生活場景。 資料採集:從採集員培訓到採集質量把控,由完善的管理體系和專業的管理團隊進行全程保障。 稽核標註:對於採集的資料,首先會經過端雲兩側的嚴格篩選,自動剔除不符合要求的資料。此外,專業的稽核員會對全量資料進行逐幀稽核,確保每一個動作都符合任務標準,並對關鍵幀和資料特性進行多維度標註。 演算法驗證:透過人工稽核的資料還會進一步透過演算法進行驗證。對於未能透過驗證的資料,會重新設計任務進行資料補採,確保資料可用性。