機器之能報導
編輯：Sia
又一個加速家用機器人“ ChatGPT ”時刻到來的玩家，出現了。
目前，網路上關於這家名叫 Fauna Robotics 的機器人公司的訊息幾乎為零，甚至找不到公司官網， X 平臺官方賬戶也僅有一句簡單介紹，他們 “正在創造一個人類與機器人物種群落共生、協作與共同繁榮的世界。” 不過，我們還是可以從 “ Fauna ”這個詞以及關鍵人物之一 Lerrel Pinto 的背景資料中窺得這家公司的一些線索。
迄今為止，Roomba 和其他機器人吸塵器是唯一真正成功的商業家用機器人。它們之所以如此成功是因為不需要與人類和其所在的環境互動——事實上，它們只要學會避開它們就可以了。Fauna 意思是動物志，看來這家初創希望描述、記錄新機器人物種群落的歷史，也就是能在不同家庭環境中執行日常家務，與人類共同生活的機器人。這和特斯拉擎天柱、Figure AI 、Digit 到 1 X 等一眾人形機器人公司的野心並無二致，大家都在加速家用機器人“ ChatGPT ”時刻到來。
另外，從公司創始人之一 Lerrel Pinto 研究背景來看，這家公司的宗旨也應該與通用的家用機器人有關。Lerrel Pinto 今年 31 歲， CMU 機器人研究所博士，一直從事著讓機器人適應人類生活世界的研究，曾入選《麻省理工學院技術評論》2023 年 35 歲以下創新者之一。目前，Lerrel Pinto 在紐約大學 Courant 計算機系擔任助理教授，也是紐約大學計算智慧、視覺和機器人實驗室（ CILVR，由 Yann LeCun 建立）成員。
Linkedin 資料顯示，Lerrel Pinto 在一個月前（也就是 2 月）入職 Fauna（這也可能是公司的成立時間）。巧合的是，1 月份，紐約大學與 Meta 聯合釋出了一個新型開放知識型機器人框架 OK-Robot。這是一種新的通用機器人，整合了大型語言模型（ LLMs ）、視覺語言模型（ VLM ）與機器人，能夠在真實的家庭環境中完成拾取、移動和放下物體的任務，無需任何額外培訓（這些訓練通常耗時又昂貴）。
你只需要對這個機器人說，把桌子上的玉米片拿到床頭櫃上，機器人就能自己找到玉米片，並規劃出路線和相應的動作，順利完成任務。除此之外，它還能幫你整理東西或扔垃圾。
10 個真實家庭環境中的執行測試結果表明，OK-Robot 拾取和放置任務的成功率達到 58.5%，如果家庭環境比較乾淨整潔，成功率可以提升到 82%。
影片連結：https://mp.weixin.qq.com/s/Zn6-Fct-m8aH_Fd3GC6ZnA
要讓機器人在一個完全陌生的環境中從事日常家務，一個巨大挑戰就是訓練它們需要大量資料，我們可以從網際網路上抓取海量資料訓練 LLMs，但機器人很難做到這點——訓練機器人的資料需要收集真實物理世界的資料，這也導致構建和擴充套件訓練資料集更加困難。
Pinto 和團隊想出了一種簡單、易於複製的方法來擴大機器人的訓練資料集 —— 將蘋果手機和常見的垃圾拾取器接起來，使用者就能用它來錄製自己抓取家中各種物品的影片， iPhone 內建硬體（比如鐳射雷達、運動感測器和陀螺儀）會記錄影片裡任務的重要資料，比如運動、深度和旋轉等——對於訓練機器人自行復制動作而言，這些資料非常重要。積累一定時長的資料後，它們會被用來與高效的學習演算法相結合，訓練模型，教會機器人如何完成家務 。
除了 OK-Robot，Pinto 和團隊還開源過 Dobb-E ——也是使用從真實家庭收集的資料訓練模型，機器人學會了開啟空氣炸鍋、關門或拉直坐墊等家務。10 個紐約家庭中的 30 天測試結果發現，機器人完成了 109 項家務任務，總體成功率為 81% ，掌握新技能僅需 20 分鐘。