本文是機器之心《2021-2022 年度 AI 技術趨勢發展報告》中演算法理論研究篇章關於機器人領域的頂會觀察，點選「機器之心2021-2022年度AI技術趨勢報告 」，獲取報告。
技術趨勢分析
首先，2021 年機器人領域的頂會中大量論文聚焦於無模型學習框架。在經典的機器人研究領域中更多的是使用模型強化學習，透過令機器人不斷地與外界互動學習，透過數學和擬合模型，最終將收益最大化，從而最佳化機器人的自身行為。這種方法的優點是能夠有效利用資料、學習效率高，缺點則是擬合模型本身存在偏差，往往不能學習到最優解。
無模型學習則是令智慧體與環境進行實時互動，以實現收斂得到最優解，其中，不再有擬合的過程，而只是透過互動來最佳化。這種方法的優點是不會遇到擬合偏差問題，往往能使機器人/智慧體達到最優解，缺點則是互動量需要非常的巨大，在真實的物理世界中很難保證，且學習的效率也存在很大問題。頂會中的論文趨勢表明，越來越多的研究人員考慮使用無模型框架替代傳統的使用擬合模型的經典強化學習方法。
其次，感知領域的方法成為研究熱點，感知領域的方法則是認知科學、神經科學等學科在機器人領域中的應用，其根本目的是令智慧體像人一樣能夠透過各種視覺、觸覺的經驗學習，例如利用皮膚感知、利用指尖感知，改進各類觸覺感測器以及引入各類深度圖、場景圖、3D圖等方法。ICRA中的感知相關論文數量遠超強化學習等主題，成為了演算法/方法類關注度最高的主題。
最後， 與其它頂會不同，機器人領域的頂會更多的關注機器人在實際應用場景中的效能，如野外機器人、人形機器人、應用於醫療領域的機器人、服務機器人等，不同的應用場景中的機器人設計有著很大的不同。而在相關會議中的Demo更多的代表了機器人領域中的研究趨勢，例如大量採用無模型框架、引入感知技術等等。
會議整體情況
作為機器人、人工智慧以及自動化領域的頂會之一，國際電氣與電子工程師學會機器人與自動化會議 (ICRA 2021) 於2021年5月31日至6月4日在西安召開。與人工智慧、機器學習其它頂會相比，ICRA除了關注演算法/理論的改進外，更多的注重“在真實機器人/場景中發揮積極的作用”。本次大會共接收1950篇論文。
機器人學習會議（The Conference on Robot Learning，CoRL）是一個專注於機器人技術和機器學習交叉領域的年度國際會議。CoRL的會議論文涵蓋機器人學、機器學習和控制等多個主題，包括了理論研究和實際應用兩個方面。CoRL 2021 於11月8日至11日在英國倫敦和線上同時舉行。最終本次大會錄用了26篇Oral論文，13篇Blue Sky論文和127篇Poster論文。
獎項情況
ICRA 2021
ICRA 2021評選論文獲獎的方式是根據論文不同的應用領域，評選出每個領域中的Best Paper，共計10個領域的10篇文章。此外，還有1篇最佳論文和1個最佳影片演示。具體獲獎情況如下：
（1）自動化領域最佳論文獎（Automation）
Automated Fabrication of the High-Fidelity Cellular Micro-Scaffold through Proportion-Corrective Control of the Photocuring Process.
作者：Xin Li, Huaping Wang, Qing Shi, JiaXin Liu, Zhanhua Xin, Xinyi Dong, Qiang Huang and Toshio Fukuda
重現天然細胞外基質（Extracellular matrix，ECM）的人造細胞微支架在研究細胞行為方面顯示出巨大的潛力。然而，如何在微支架上高效、準確地再現生理形態，仍然是一個重大挑戰。本文提出了一種新的自動製造方法，用比例校正控制演算法來實時調節可降解水凝膠的光固化過程，以設計高保真的細胞微支架。本文將數字全息顯微鏡（digital holographic microscopy，DHM）系統整合到基於數字微鏡裝置（digital micro-mirror device，DMD）的微加工系統中，以實現對光固化過程的實時檢測。在光固化之前，理論上的固化厚度是由經過校準的模型確定的。為了製造出具有高保真形態的微支架，將入射的紫外光分成不同的網格區域，實現區域性離散的光固化控制。對於每個區域性區域，固化厚度的實時附加值與理論值進行比較，以確定失真度，該失真度由比例校正演算法控制的第二步曝光進行校正。最後，該演算法有效地將製造精度從200μm提高到50μm。透過長期培養，細胞存活率超過了96%。實驗結果驗證了所提控制演算法的有效性和可行性。
（2）認知機器人學最佳論文獎（Cognitive Robotics）
How to Select and Use Tools?: Active Perception of Target Objects Using Multimodal Deep Learning.
作者：Namiko Saito, Tetsuya Ogata, Satoshi Funabashi, Hiroki Mori and Shigeki Sugano
對於家庭服務機器人來說，能夠在執行日常任務時選擇適當的工具並使用它們，是衡量機器人可用性的一個關鍵功能。然而，在以前的研究中，對目標物件的適應性是有限的，因此很難相應地改變工具和調整行動。為了用工具操縱各種物體，機器人必須既瞭解工具的功能，又能識別物體的特徵，以辨別工具—物體—動作的關係。本文聚焦於在機器人與物體互動時使用多模態感測運動資料進行主動感知，並讓機器人識別它們的外在和內在特徵。本文構建了一個深度神經網路（DNN）模型，該模型可以學習識別物體特徵，獲得工具-物體-動作的關係，並生成工具選擇和處理的動作。作為一個工具使用情況的例子，機器人執行原料轉移任務，使用翻轉器或杓子將原料從鍋中轉移到碗中。結果證實，即使在目標成分未知的情況下，機器人也能識別物體特徵和服務。本文還研究了影像、力和觸覺資料的貢獻，並表明學習各種多模態資訊會產生豐富的工具使用感知。
（3）人機互動最佳論文獎（Human-Robot Interaction ，HRI）
Reactive Human-To-Robot Handovers of Arbitrary Objects.
作者：Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak and Dieter Fox
在過去的十年裡，人與機器人之間的物體交接一直是機器人學的一個重要研究領域。然而，很少有技術和系統能夠解決交接具有任意外觀、大小、形狀和變形性的各種物體的問題。本文提出了一個基於視覺的系統，能夠實現人類對機器人的未知物體的反應性交接。該方法將閉環運動規劃與實時、時間上一致的抓握生成相結合，以確保反應性和運動的平穩性。該系統對不同的物體位置和方向具有魯棒性，並且可以抓取剛性和非剛性的物體。作者在一個由26種不同的家用物品組成的新基準集上證明了本文方法的通用性、可用性和穩健性，包括一個由6名參與者遞送15種物品子集的使用者研究，以及一個檢查遞送物品的不同方式的系統評估。
（4）機制與設計最佳論文獎（Mechanisms and Design）
Soft Hybrid Aerial Vehicle Via Bistable Mechanism.
作者：Xuan Li, Jessica McWilliams, Minchen Li, Cynthia Sung and Chenfanfu Jiang
無人駕駛飛行器已經成功應用於各種任務中，包括大面積測量和取樣任務。這些飛行器可以有多種形式。四旋翼飛機的靈活性和懸停能力使它們很適合在潛在的狹小空間內航行，而固定翼飛機則能夠進行長距離的高效飛行。混合動力飛行器（Hybrid aerial vehicles，HAVs）透過展示多種模式來實現這兩個好處；然而，變形的HAVs通常需要額外的執行器，這增加了質量，降低了敏捷性和效率。本文提出了一種帶有摺疊機翼的變形HAV，它同時表現出四旋翼和固定翼模式，而不需要任何額外的驅動力。這是透過利用飛機中心的雙穩態機構的運動來實現的，只用現有的電機和系統的慣性來驅動機翼的摺疊。作者使用拓撲最佳化方法對雙穩態機制和摺疊翼進行最佳化。使用3D印表機生成由此產生的零件，並連線到現有的四旋翼框架上。本文的原型在兩種模式之間成功過渡，實驗證明，製造的原型的行為與模擬的行為是一致的。
（5）醫療機器人技術最佳論文獎（Medical Robotics）
Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery.
作者：Yonghao Long, Jie Ying Wu, Bo Lu, Yueming Jin, Mathias Unberath, Yunhui Liu, Pheng Ann Heng and Qi Dou
自動手術手勢識別對於實現機器人手術的智慧認知輔助具有根本性的重要意義。隨著近年來機器人輔助微創手術的發展，包括手術影片和機器人運動學在內的豐富資訊都可以被記錄下來，這為理解手術手勢提供了補充知識。然而，現有的方法要麼只採用單模態資料，要麼直接串聯多模態表徵，這就不能充分地利用視覺和運動學資料中固有的資訊相關性來提高手勢識別的準確性。本文提出了一種新穎的多模態關係圖網路（multimodal relational graph network，MRG-Net）的方法，透過在潛在特徵空間中的互動式資訊傳播，動態地整合視覺和運動學資訊。具體來說，本文首先用時間卷積網路和LSTM單元從影片和運動學序列中提取嵌入。接下來，在這些多模態嵌入中識別多關係，並透過分層關係圖學習模組來利用它們。作者在公共JIGSAWS資料集上的實驗結果證明了該方法的有效性，實驗結果表明該方法在縫合和打結任務上都優於目前的單模態和多模態方法。此外，作者還在使用達芬奇研究元件（da Vinci Research Kit，dVRK）平臺收集的內部視覺運動學資料集上驗證了該方法，並取得了一致的良好表現。
（6）多機器人系統最佳論文獎（Multi-Robot Systems）
Optimal Sequential Stochastic Deployment of Multiple Passenger Robots.
作者：Chris (Yu Hsuan) Lee, Graeme Best and Geoffrey Hollinger
本文提出了一種在有袋動物機器人系統中部署乘客機器人的新方法。一個有袋動物機器人系統包括一個能力強、任務時間長的載體機器人（如地面飛行器），以及至少一個由載體運輸的乘客機器人（如短時空中飛行器）。本文提出了一種最佳化乘客機器人的部署效能的演算法，該演算法透過利用環境中感興趣的特徵的先驗機率分佈資訊來解釋不確定性。該演算法表徵為一個順序隨機分配問題（sequential stochastic assignment problem，SSAP）的解決方案。該演算法的關鍵特徵是一個遞迴關係，它定義了一組用於決定何時部署乘客機器人的觀察閾值。該演算法在O(NR)時間內計算出最佳策略，其中N是部署決策點的數量，R是要部署的乘客機器人的數量。作者對來自DARPA地下挑戰的真實資料進行了無人機部署探索實驗，以測試SSAP演算法。實驗結果表明，本文提出的部署演算法優於其他競爭演算法，如經典的秘書方法和基線分割槽方法，其效能能夠與離線oracle演算法相媲美。
（7）機器人操控領域最佳論文獎（Robot Manipulation）
StRETcH: A Soft to Resistive Elastic Tactile Hand.
作者：Carolyn Matl, Josephine Koe and Ruzena Bajcsy
軟性光學觸覺感測器透過捕捉重要的特徵，如高解析度的接觸幾何學和對物體順應性的估計，使機器人能夠操縱可變形的物體。本文提出了一個稱為StRETcH的可變剛度軟觸覺終端執行器，即軟阻彈性觸覺手，該執行器易於製造並與機器人手臂整合。將一個彈性膜懸掛在兩個機器人手指之間，其上的一個捕捉彈性膜變形的深度感測器能夠對接觸的幾何形狀進行亞毫米級的精確估計。平行鉗透過單軸拉伸來改變膜的硬度，這可以控制地調節StRETcH的有效模量，從大約4kPa到9kPa。本文實驗中使用RETcH技術重建剛性和可變形物體的接觸幾何形狀，估計四個充滿不同物質的球體硬度，並控制麵糰成為指定的形狀。
（8）機器人視覺最佳論文獎（Robotic Vision）
Interval-Based Visual-LiDAR Sensor Fusion.
作者：Raphael Voges and Bernardo Wagner
由於相機和光探測和測距（Light Detection and Ranging，LiDAR）感測器能夠提供關於環境的互補資訊，透過將LiDAR測量的距離分配給影像中檢測到的視覺特徵，有利於移動機器人的定位。然而，現有的方法忽視了融合資訊的不確定性，或者以樂觀的方式對其進行建模（例如，不考慮外在的校準誤差）。由於感測器融合過程中誤差的實際分佈往往是未知的，假設只知道包圍誤差的邊界（或區間）。因此，本文提出使用區間分析以一種直接的方式將誤差從輸入源傳播到融合資訊中去。為了驗證本文方法的適用性，作者使用融合的資訊來進行dead recokoning。由於使用了區間分析，本文方法給出的結果是保證包圍機器人的真實姿態的區間。使用真實資料進行的評估表明，本文方法確實能夠以一種有保障的方式對機器人進行定位。
（9）服務型機器人最佳論文獎（Service Robotics）
Compact Flat Fabric Pneumatic Artificial Muscle (ffPAM) for Soft Wearable Robotic Devices.
作者：Woojong Kim, Hyunkyu Park and Jung Kim
氣動人造肌肉（pneumatic artificial muscle，PAM）已被廣泛採用於各種可穿戴的應用中，但致動器的體積和反應緩慢仍是一個問題。本文提出了一種扁平織物PAM（flat fabric PAM，ffPAM），實現了高緊湊性、快速響應和低滯後誤差。該ffPAM在172kPa時施加的最大力為118.0 N ± 0.1 N，平均最大收縮率為23.84% ± 0.06%，最大滯後誤差為6.2%。基於動態響應實驗，ffPAM被驗證具有0.0318秒±0.0012秒的收縮響應時間，以及超過4赫茲的頻寬。此外，在10,000次迴圈中保持了最大的收縮長度。此外，本文嵌入了一個基於織物的軟性收縮感測器來測量收縮。本文驗證了嵌入式電容式收縮感測器的電容與恆定壓力下的收縮長度有線性關係。為了強調ffPAM在實際可穿戴應用中的緊湊性，將執行器放在兩腿之間，並將其緊湊性與以前的PAM進行了比較。
（10）無人駕駛飛行器最佳論文獎（Unmanned Aerial Vehicles）
Aerial Manipulator Pushing a Movable Structure Using a DOB-Based Robust Controller.
作者：Dongjae Lee, Hoseong Seo, Inkyu Jang,Seung Jae Lee and H. Jin Kim
本文論述了一個空中操縱器推動一個可移動結構的問題。與靜態結構的物理相互作用相反，需要適當考慮結構運動過程中的相互作用力，以穩定地進行這種可移動結構的相互作用。為了完成推動結構的任務，同時確保空中操縱器的穩定性，本文提出了一種基於非線性干擾觀察者（disturbance-observer，DOB）的穩健控制方法，將互動力視為系統的干擾。此外，為了利用所提出的控制器來推動一個可移動的結構，本文提出了一種演算法來生成一個末端執行器的位置參考，從而在現實情況下實現安全操作。
最佳會議論文：
Extrinsic Contact Sensing with Relative-Motion Tracking from Distributed Tactile Measurements.
作者：Daolin Ma, Siyuan Dong, Alberto Rodriguez
本文討論了未知的被抓取的剛性物體與環境（即機器人的外在因素）的接觸定位問題。本文探討了分散式觸覺感測在定位機器人外部觸點方面所起的關鍵作用，與聚合式力/扭矩測量在定位機器人上的觸點方面所起的作用形成對比。當與環境接觸時，一個物體將按照該接觸所施加的運動學和可能的摩擦學約束進行運動。用觸覺感測器可以觀察到的物體的小動作，間接編碼了這些約束和定義它們的幾何圖形。本文將外在的接觸感應問題表述為基於約束的估計。該估計受制於物體運動的觸覺測量所施加的運動學約束，以及剛體力學所施加的運動學（如非穿透）和可能的摩擦（如粘著）約束。本文透過模擬實驗驗證了該方法，並在定點和直線接觸的實際案例中進行了實驗驗證。本文討論了分散式觸覺感測價值的理論基礎，與聚合式力/扭矩測量形成對比。此外，還提供了一個估計框架，用於定位在裝配或包裝等接觸多的操縱場景中具有潛在影響的環境接觸。
最佳影片演示：
Merihan Alhafnawi at the Robot Swarms in the Real World workshop.
CoRL 2021
與其它人工智慧、機器學習頂會相比，CoRL除了關注論文中演算法的改進，更關注實際場景/機器人中的應用效果。因此，CoRL公佈了1篇獲獎論文、1篇獲獎系統論文和11個機器人專案。
CoRL 2021 的最佳論文獎頒發給了 MIT CSAIL 團隊的《A System for General In-Hand Object Re-Orientation》。作者為兩位 MIT 博士生 Tao Chen（陳濤）、Jie Xu （徐捷）和 MIT的助理教授 Pulkit Agrawal。
論文出發點
這篇獲獎論文關注的是機器人中“靈巧手”的問題。目前，靈巧手在機器人領域中還屬於未徹底研究的內容，但對於很多工業場景來說都非常需要一個具有靈巧手的機器人，如物流打包、家庭服務機器人等。由於高維的執行空間和手指與物體之間接觸狀態的頻繁變化，手部物體的重新定位一直是機器人技術中的一個挑戰性問題。
解決思路
作者提出了一個簡單的無模型框架，可以學習在手朝上和朝下的情況下調整物體的方向。文中展示了在這兩種情況下對超過2000個不同幾何形狀的物體進行重新定位的能力。應用於新物體時，透過本文提出的無模型框架學到的策略顯示了出強大的零點轉移效能，作者證明了這些策略可以在現實世界中操作，透過提煉它們來使用現實世界中容易獲得的觀察結果。
思路關鍵點
首先，為了避免對物體和手之間接觸狀態的非線性和頻繁變化進行明確建模（這些變化會導致最終的高維度控制系統問題），作者使用了無模型強化學習，這種方法跳過了建模的過程，直接從原始點雲觀測中進行操作，這種操作方法更適合於現實世界的應用場景。作者發現，使用特權狀態資訊，如物體/指尖的速度，可以更快地訓練出更好的策略，這些資訊在模擬器中很容易獲得，但在現實世界中卻無法獲得。為了證明在未來將學到的政策遷移到現實世界的可能性，以使框架能夠應用於沒有大量輔助資訊的場景中，作者引入teacher-student訓練來解決對特權資訊的需求，即透過知識蒸餾方法幫助控制器進行學習。此外，作者還訓練框架學習重力課程，以使得它在不知道物體形狀的情況下能夠任意轉動物體。
CoRL 2021 最佳系統論文獎則授予了哥倫比亞大學的研究成果《FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding》。這篇獲獎論文的作者 Huy Ha 是哥倫比亞大學電腦科學系博士生，導師 Shuran Song 是哥倫比亞大學電腦科學系助理教授。
論文出發點
高速動態動作（如拋擲或投擲）在我們與可變形物體的日常互動中起著至關重要的作用，它提高了我們的效率並有效地擴大了我們的物理接觸範圍。然而，大多數先前的工作都是完全使用單臂準靜態動作來解決布的操縱問題，這需要大量的互動來實現具有挑戰性的初始布的配置，並透過機器人的觸及範圍嚴格限制最大布的尺寸。
解決思路
在這項工作中，作者提出了一個自監督學習框架FlingBot，並證明了動態甩動動作對布的展開的有效性。該方法從視覺觀察中學習如何使用雙臂設定的拾取、拉伸和翻轉基元從任意初始配置中展開一塊織物。
取得成果
最終系統在3個動作內實現了對新布的超過80%的覆蓋，可以展開大於系統覆蓋範圍的布。並且，在只在矩形布料上進行訓練的情況下，該方法仍能推廣到T恤衫上，繼而可以用在疊取衣物的工作中。作者還在真實世界的雙臂機器人平臺上對 FlingBot 進行了微調，使得它比準靜態基線增加了 4 倍以上的布料覆蓋率。FlingBot的簡單性與它比準靜態基線更優越的效能相結合，證明了動態動作對可變形物體操縱的有效性。
對於實戰性強的機器人研究領域來說，11個機器人專案更能反映出機器人領域的研究趨勢。
在11個專案中，有4項是與四足機器狗相關的，具體為2、4、7和10。其中，2、4、7為瑞士ANYbotics的ANYmal，10為杭州宇樹科技的A1。這些專案中機器狗都能夠感知外部環境，調整切換運動步態，從而改進行進水平同時最小化能量消耗。此外，它們都應用的是無模型強化學習（與最佳論文中的方法類似），無模型強化學習也是腿部機器人運動控制器中最常用的效果最好的方法。第1和3這兩個專案是機器人視覺領域的專案，而6、8和9則是機器人觸覺領域的專案，這5個專案都屬於機器人感知領域的研究。專案5是模仿學習在機械臂運動規劃中的應用。專案11則是模仿學習在機器人長期目標學習中的應用。
發表論文作者相關資料情況
ICRA 2021的1950篇論文共涉及6158名作者（經過簡單的同名識別處理），錄取論文數量最多的作者及相應論文數量情況見下表。其中，來自瑞士蘇黎世聯邦理工學院的Roland Siegwart共有19篇文章被ICRA 2021接收，來自香港大學的Ming Liu和來自瑞士蘇黎世聯邦理工學院的Marco Hutter分別有14篇文章接收，共有18名作者有9篇以上的論文接收（含9篇）。
Roland Siegwart是瑞士蘇黎世聯邦理工學院全職教授，並擔任蘇黎世懷斯大學的創始聯合主任。Roland Siegwart教授的研究興趣是在複雜和高度動態環境中執行的機器人系統的設計和控制。他的主要目標是找到處理不確定性的新方法，並使高度互動和自適應的自主機器人的設計成為可能。他的突出應用例項包括個人和服務機器人、自主微型飛機、行走和游泳機器人以及駕駛助理系統。此外，他還是瑞士創新和創業的有力推動者。
Ming Liu為香港科技大學電子與計算機工程系副教授。劉明的研究興趣包括動態環境建模、3D繪圖、機器學習和視覺控制。他特別關注於解決移動機器人測繪和導航問題的新型實時線上方法的研究。
Marco Hutter是瑞士蘇黎世聯邦理工學院機器人學助理教授，為布蘭科·維斯研究員，也是ANYbotics公司的創始人。他專門研究開發四足機器人，其中一些可以自主操作。他旨在應用新的機器學習方法來提高機器人的機動性，併為它們在極其困難的地形中自主運動做準備。在未來，這些機器人可以接替人類的骯髒和危險的任務，例如在災區、下水道和礦井，或在海上平臺。
點選「機器之心2021-2022年度AI技術趨勢報告 」，獲取報告。已獲得「機器之心Pro 會員」全功能賬號許可權的使用者可直接下載檢視。如您還沒有「機器之心Pro會員」，掃描下方二維碼關注「機器之心Pro」服務號（id：almosthuman2014pro），進入服務號主頁，點選對話方塊，編輯傳送「機器之心Pro會員」諮詢，客服值班時間為工作日的10:00 - 19:00。
