打造屬於機器人的觸覺感官，騰訊Robotics X實驗室做到了更快、更輕、更準
機器之心發表於2022-12-01
機器人已經成為現代生產生活中的重要組成部分，如工業機器人、家用機器人等。機器人成為了人類功能的延伸，而在對智慧機器人的長期追求中，人們設想賦予機器人類人的五感，即視覺、觸覺、聽覺、嗅覺和味覺，尤以視覺和觸覺最為重要。過去幾十年，計算機視覺和影像感測器等技術在機器人領域取得了巨大進步，但觸覺能力相對落後。
觸覺在日常生活中發揮著視覺無法取代的作用。人類既可透過觸控感知到的觸覺評估物體的大小、形狀等屬性，又能透過接收到的壓力、振動等感覺資訊感知周圍環境並規避潛在危險。同樣，機器人觸覺是其理解現實世界物體互動行為的重要武器。透過觸覺感知，機器人能夠獲取物體的重量、剛度、變形等觸覺資訊，從而順利實現對物體的精準定位以及執行各種操作（比如抓握）任務。此外，觸覺是人類進化史中最早發育與最原始的感知能力, 也是人類五種感知中唯一一種具有主動、雙向互動的感知與互動能力。得益於觸覺的雙向互動性，觸覺包括了感知（sensing）與渲染（actuation/display）。感知是透過觸覺感測器獲取互動環境中的觸覺資訊，並以某種方式編碼與儲存；渲染則是根據數字化的觸覺資訊將其直接在人體上輸出並直接感受。在實現上，感知透過觸覺感測器進行，渲染透過觸覺執行器進行。因此，觸覺感測器和執行器成為業界研究人員深耕的兩大領域。在國內，有一家實驗室致力於推進人機協作的下一代機器人研究，打造虛擬世界到真實世界的載體與聯結器。它就是 2018 年成立的騰訊 Robotics X 實驗室。目前實驗室的研究方向包括作為機器人基礎技術的視覺、觸覺等感知能力，以及靈敏運動、靈巧操控、智慧體三大支柱技術。 針對觸覺的兩大領域，騰訊 Robotics X 實驗室進行了大量的探索和開發，其中在柔性觸覺感測器領域瞄準了壓阻型、電容型、摩擦電型、光纖型四種機理，在柔性觸覺執行器領域專注於電流型和電磁型反饋機理，並取得了一系列研究成果。近期，該實驗室聯合其他科研團隊在 Nature Communications、Science Advances 和 ACS Nano 期刊上發表了一系列代表性論文。本文則從感測器和執行器的原理、設計、製備和控制等多個方面揭示了其中的技術獨到之處。觸覺感測器用來測量感測器與環境的物理互動所產生的資訊，透過模仿生物皮膚的觸覺感知功能，檢測接觸事件發生時的機械、溫度、疼痛等多模態的刺激。人體皮膚對硬度、粗糙度、溫度、振動等具有細膩的觸覺感知，透過綜合分析物體的各項觸覺資訊，使手部肌肉施加合理的力，進行自適應的抓握。在電子皮膚的輔助下，智慧機器人系統或假肢也可以利用觸覺資訊進行運動軌跡規劃、物體操縱、安全操作，並從環境中獲取各種資訊。但對於自由度越來越高的剛體機器人，傳統扭矩感測器昂貴且難以部署，所以開發柔性、高靈敏度、高空間解析度、多模態的電子皮膚是實現高效感知和控制的重要一步。目前業界已經出現基於電阻式、壓阻式、電容式、壓電式、摩擦電奈米發電機（TENG 式）、光纖式、基於視覺等工作原理的機器人觸覺感知方法。目前，壓阻式感測器因其構造簡單成為機器人觸覺感測器的重要發展趨勢，但因靈敏度較低、檢測壓力範圍較窄、響應速度較慢等缺點，目前仍處於實驗室研究階段。另外，製作材料也是壓阻式感測器面臨的一大難題。雖然導電奈米材料（如碳奈米管、奈米纖維、銀奈米粒子、金奈米線）與聚合物彈性體（如聚氨酯、PDMS）合成的壓阻薄膜是首選材料之一，但在實踐中，導電奈米材料很難均勻地分散在制膜前驅液中，導致壓阻薄膜靈敏度較低。業界已有透過將表面處理成各種微結構進而增加壓阻薄膜與電極之間接觸面積的方式來增強靈敏度，比如美國史丹佛大學鮑哲南課題組曾利用空心球微結構製作鋸齒狀壓阻式觸覺感測器陣列（2014）。然而，基於模具的微結構限制了單個感測器的尺寸並阻礙其向大型感測器陣列的整合。因此，騰訊 Robotics X 實驗室一方面致力於提升壓阻薄膜的靈敏度、壓力檢測範圍、響應速度、線性度等各項指標，為應用於機器人的觸覺感測器提供優越的電子材料；另一方面研製高解析度的電晶體基陣列，提升觸覺感測器的圖形解析度。實驗室在與清華大學積體電路學院合作的 “Large-Scale Integrated Flexible Tactile Sensor Array for Sensitive Smart Robotic Touch” 論文中，將上述壓阻式感測器的各項指標達到了領先水平。該論文已在 ACS Nano 期刊上發表。論文連結：https://pubs.acs.org/doi/10.1021/acsnano.2c06432
研究者展示了一個 64 × 64 柔性觸覺感測器陣列，透過整合高效能壓阻膜（PRF）和大面積碳奈米管薄膜電晶體的活性矩陣，實現了 0.9 mm（相當於每英寸 28.2 畫素）的高空間解析度。所研製自組裝微結構的壓阻薄膜表現出了高達 385 kPa^-1 的高壓力靈敏度、3 ms 的快速響應時間、良好的線性度、大於 1400 kPa 的檢測範圍以及超過 3000 次的良好迴圈耐久性。整合前兩者研製的觸覺感測器陣列可以清晰識別模擬蜜蜂的足底影像訊號。研究者在硬體上也實現了觸覺感測器陣列與基於憶阻器的存算一體晶片相結合的智慧觸覺系統，記錄和識別手寫體數字和漢字書法，分類準確率分別達到了 98.8% 和 97.3%。
為了實現第四次工業革命，物聯網技術在諸多領域不斷提升其驚人的能力。在整個物聯網系統中，感測器是基礎單元，收集各方有用的資訊並傳遞給人或其他裝置。有線感測和無線感測是兩種主要的實現方式。有線感測系統直接將感測器連線到接收輸入的裝置上，會給應用場景帶來諸多限制，很多應用場景難以實現有線訊號傳輸，比如體域網等。因此，針對無線感測系統的解決方案研究迫在眉睫。無線感測系統安裝方便、靈活性足，維護起來也方便，應用場景也越來越多。然而，傳統的無線感測技術往往需要感測、訊號調製、無線傳輸以及供能與能量管理四個模組，這導致無線感測系統存在體積大、剛性、高能耗和高成本等問題。這無疑限制了無線感測系統的應用場景，並在系統維護和可持續發展方面帶來了新的挑戰。新興的摩擦奈米發電機（TENG）技術成為了無線感測的替代方案，它既可透過額外的位移電流項觸發無線訊號的產生與傳輸，還能同時高效地捕獲機械能和運動訊號，不需要額外的電源和感測模組，使裝置實現完全自供能。騰訊 Robotics X 實驗室聯合香港中文大學分別在 Science Advances 和 Nano Energy 期刊上發表了兩篇論文，在基於 TENG 的柔性觸覺感測器方面取得了一系列研究成果。在第一篇論文中，研究者研發了一種基於 TENG 技術的自供能無線感測貼紙（self-powered wireless sensing e-sticker, SWISE），它可以將輸入的機械訊號轉化為電磁波訊號以實現無線感測，完全不需要電池或導線。SWISE 器件具有一體化、完全自供能、柔性、可形變、小型化（低至 9 mm × 9 mm, 指甲蓋大小）、超薄（低至 95 μm）、超輕（低至 16 mg）以及遠距離傳輸（> 30 m）等多種優點。論文連結：https://www.science.org/doi/10.1126/sciadv.abi6751
圖 自供能無線感測貼紙（SWISE）與目前一些無線感測裝置的引數比較具體地，這項工作提出透過擊穿放電引起的位移電流使得電磁波生成和自供能無線感測的正規化轉變策略，並實現了一體式完全自供能無線感測和傳輸單元即 SWISE。與最先進的無線感測裝置相比，SWISE 具有最小的器件尺寸和最遠的有效傳輸距離（>30 m），併兼具完全自供能及純柔性的特點。在此基礎上，研究者製作了自供能無線柔性鍵盤和智慧腕帶，用於檢測和傳輸來自多個按鍵的訊號。就應用而言，SWISE 可以在可穿戴和植入式裝置、機器人、生物醫學、人機介面、基礎設施等領域實現潛在應用監控。第二篇論文則是在 SWISE 工作原理的基礎上進行的擴充，提出了一種面向商業感測器的通用自供能無線感測解決方案（general self-powered wireless sensing solution）。與 SWISE 一樣，該方案利用擊穿放電效應將機械訊號轉化為電磁波訊號，同時產生的電磁波訊號利用多種商業感測器進行調製，從而實現面向商業感測器的自供能無線感測平臺。論文連結：https://doi.org/10.1016/j.nanoen.2022.107982具體地，在 SWISE 自供能無線感測策略的基礎上，研究者進一步探究了其模型並提出了一種通用的自供電無線感測解決方案。透過調整電阻、電感和電容等系統引數，調製頻率和阻尼比，分別用無線訊號中的振盪基頻 / 週期和衰減時間來表徵。基於這些方法，SWISE 可以耦合相應的商業感測器，以實時、自供能和無線的方式透過電磁波傳輸多種物理訊號的感知訊號。在此基礎上，研究者用不同的調製方法演示了自供能無線溫度和壓力感測系統，以驗證該方法的有效性，並預期可以應用於多物理訊號感知領域。此外，騰訊 Robotics X 實驗室還聯合清華大學深圳國際研究生院在 Nano Energy 發表了一篇論文，提出了一種基於 TENG 的新型電子皮膚觸覺感測器，僅利用單一機制即可實現多模態感測。此外在實際應用中透過引入小波變換提出了訊號解耦方法，並在此基礎上提出了一個無線且完成整合的系統「MTSensing」，用於實時和同步的材料和紋理識別。論文連結：https://doi.org/10.1016/j.nanoen.2021.106798電容感測器具有靈敏度高、響應快、檢測限低等優點，已廣泛應用在智慧穿戴、機器人感測和人機互動等領域。傳統的電容感測器大多采用多功能層簡單堆疊的異質結構，不同層在材料和彈性模量上差異較大，存在顯著的力學失配。因此，具有異質結構、非粘結介面的器件也存在介面不穩定的問題，在高剪下力條件下容易出現介面分層，造成感測訊號失真或失效。目前已經出現在感測器中引入微結構的方法，這樣可以增強介電層的可壓縮性以提高靈敏度，並透過快速恢復和釋放能量來提高器件的響應速度。在介電層中新增導電填料可以產生更高的介電常數，從而改善訊號幅度。此外，電容感測器與軟體機器人之間的介面也存在力學失配和介面粘附力不足的問題，導致機器人在複雜的機械條件下進行抓取動作時容易產生訊號失真等問題。因此，解決柔性電容感測器的介面穩定性問題並同時實現高效能感測極具應用價值。對此，騰訊 Robotics X 實驗室聯合南方科技大學在 Nature Communications 上發表了一篇論文，捨棄了常規的電容感測器異質結構，設計了同質、拓撲交聯的增韌微結構介面，既獲得了高靈敏度和高介面穩定性的有機結合，又實現了電容感測器與機器人的無縫融合。論文連結：https://www.nature.com/articles/s41467-022-29093-y
一方面，這種同質結構設計將感測器的響應速度提升了 30 多倍，這源於彈性體材料中摻雜導電粒子引起的滲流轉變和微結構介面接觸面積的增加兩種效應的協同。另一方面大大提升了感測器的穩定性，使其經過 10 萬次的摩擦迴圈測試或 1 萬次的 5 kPa 剪下力迴圈測試下仍能保持訊號穩定。透過在微結構介面引入拓撲交聯，該感測器獲得了高達~ 390 J·m^-2 的介面韌性和~ 90 kPa 的高剪下強度，在高壓、高剪下力模式下均表現出了優異的穩定感測效能。例如，感測器貼附在汽車車胎上（~300 kPa 的壓力以及~ 6 kPa 的剪下應力）行駛 2.6 km 後仍然可以正常工作，沒有觀察到器件的介面破壞。此外，透過在電子皮膚與軟體機器人之間構建共融介面，器件在軟體抓手不同的抓取場景下都表現出極穩定的感測效能。
騰訊 Robotics X 實驗室的一系列研究工作在靈敏度、解析度、響應速度、訊號穩定性、傳輸距離、自供能等多方面提升了觸覺感測器的效能，但依然會面臨一些挑戰。比如，再強大的柔性觸覺感測器也會在反覆變形過程中出現效能退化，因此如何使其保持更長的使用週期以及更高效地實施維護可能是今後的重要研究課題之一。此外就製作材料而言，近年來業界出現了很多基於石墨烯薄膜及其衍生物的柔性觸覺感測器工作，實際效能也可圈可點。隨著未來更多新材料和新工藝的出現，觸覺感測器在製作材料和結構設計方面可能會迎來更多可能性，因此需要持續關注那些製作成本更低、潛在應用效果更好的柔性材料。如果說感測器是感覺器官，則執行器是控制器官。執行器是實現高效能觸覺反饋（觸覺渲染）的重要組成部分，透過末端執行器產生的振動或作用力獲得良好的觸覺反饋，增強互動沉浸感，進而實現更高效的響應及控制。人體觸覺渲染主要分為兩類，即動覺（Kinaesthetic）與壓覺 / 膚覺（Tactile）。動覺是普通意義上的力與力矩反饋，作用於骨骼、關節、肌腱等。壓覺是由人體皮膚形變與摩擦振動而帶來的反饋，作用於真皮層的四種機械感受器，它們分別用來感受不同頻率和強度的皮膚形變與摩擦振動。觸覺對於渲染連續性的要求要高很多，動覺一般要達到 1000Hz 才能保證人體感受到力 / 力矩的連續渲染，而壓覺一般也要求 250-700Hz 才能保證連續性。對應於人體的觸覺渲染，實現機器人觸覺渲染的執行器也分為壓覺和動覺兩種，它們的評價標準各有不同。目前執行器領域出現了電磁式、壓電式、電刺激、氣動式等多種激發方式，它們在響應速度、解析度和安全性等方面的表現各有不同。一般來講, 因為執行器和人體直接接觸產生互動，所以對於其電壓、發熱、體積、重量等方面均有較高要求。壓覺反饋的評價標準包括空間解析度、最大壓覺刺激強度、刺激強度等級和響應時間。其中空間解析度決定了壓覺反饋系統能夠在單位面積上給予人體多少個不同位置的刺激。人體的壓覺感受器主要分佈於雙手, 尤其是指尖，在指尖正中間的感受器密度可以達到 80/cm^2。較新的壓覺反饋能夠在指尖實現 3mm–5mm 的密度，即每個指尖可以做到 8–38 個壓覺反饋點。最大壓覺刺激強度決定了每個壓覺反饋點能夠渲染的最大「力道」，刺激強度等級決定了每個壓覺反饋點從最輕微到最用力之間渲染出多少個等級，響應時間決定了每個壓覺反饋點的變化快慢程度，越接近 250-700Hz 響應度越好。壓覺的實現方式多種多樣，目前尚無明顯優勢的技術方案。以 Meta、HaptX 為例，兩家均採用氣動方式，但受限於氣囊尺寸、充放氣管道數量、充放氣控制器通道數和氣泵尺寸等因素，這種方式僅限於實驗室場景部署，較難落地應用。騰訊 Robotics X 實驗室在壓覺渲染上佈局多年, 現在已經研究出三種完全不同的實現方式, 並各有其優缺點。其中可穿戴、電刺激觸覺重現裝置相關的工作於 2022 年在 Science Advances 上發表。一是微電流壓覺執行器陣列（電刺激）。此方式可以在單一指尖上以 20 個不同強度的微電流渲染 105 個觸覺點（透過超解析度演算法），頻率可達 4KHz，在指尖中央區域可以做到 80 個觸覺點 / cm^2，成為業內首款可以達到人手機械感受器密度的壓覺執行器陣列。它可以實現在指尖上單純利用壓覺辨別所有英文字母和數字，準確率達到了 90%。同時工作電壓由之前研究工作中常用的 300-500V 降低到 13-28V，位於人體安全電壓以下。形態上為一片柔性電路，不存在重量 / 體積的問題。論文連結：https://www.science.org/doi/10.1126/sciadv.abp8738其二是基於電磁的壓覺執行器陣列（機械刺激）。此方式可以在單一指尖中心區域以不同頻率（1-500Hz）渲染 13 個觸覺點，工作電壓為 5V，形態上為一塊硬質基板上的電路 + 執行器陣列。此方式的渲染原理為物理接觸，相較於電刺激，其觸覺感受更為明顯與自然。其三是基於氣動的 TPU 壓覺執行器陣列（同樣為機械刺激）。實驗室現有的控制器 + 氣泵尺寸約為成年人揹包大小的 2/3，可以同時輸出 16 路、5V 供電，一個小型充電寶即可供整套系統工作超過 3 小時。同時製備效率極高，在成本、舒適性方面也都極具優勢。此外也可以根據需求製備出不同尺寸的陣列，供手臂、前胸、後背等人體各個部位驅動。 動覺反饋的評價標準包括自由度、最大力矩和響應時間。其中自由度決定了動覺反饋系統能夠給與人體多少個單獨可控的力 / 力矩輸出，自由度越高，越能夠實現人類上肢，尤其是手部的靈巧操作。但高自由度會帶來指數級的實現複雜程度、裝置重量、可靠性以及耗電量。最大力矩決定了動覺反饋時給予人體的束縛 / 推進力大小，力矩太小會導致輸出無法被感知，但增大力矩也會導致電機尺寸、重量和耗電量成倍增長。響應時間決定了動覺反饋時力 / 力矩的變化快慢程度，越接近 1000Hz 響應度越好。動覺的主要實現方式是小型舵機，基本要求是在較小體積與重量的情況下實現較大力矩輸出。現階段關於動覺的比拼主要在於自由度的部署，較為普遍的方式是為每根手指輸出一個自由度，即可以渲染手指自然捲屈時的力, 但無法渲染手部抓取複雜構型的力。當前，騰訊 Robotics X 實驗室的實現方式是為每個手指佈局兩個定製舵機和一個微型編碼器。兩個舵機分別用來渲染手指根部（近節）與第二指節（中節）的力；編碼器用來獲取手指側擺的資訊，僅做姿態追蹤輸出。這種方式在與業界其他解決方案的比較中表現出了優勢。比如 HaptX 的方案中每根手指一個自由度，基於電機實現；實驗室的方案自由度佔優（實現對手渲染不了的手部抓取力），在重量、體積上也佔優。Dexta 的方案中每根手指一個自由度（位於指跟），基於舵機實現；實驗室的方案自由度佔優，同時重量、體積相當。Meta 的方案中每根手指一個自由度，基於分部在手指內表面的可衝方氣囊實現；實驗室的方案自由度佔優，控制頻率佔絕對優勢（氣動頻率在 10-15Hz）。此外，動壓覺結合能夠提供真實沉浸的觸覺渲染。但遺憾的是，現有絕大部分觸覺反饋裝置只針對動覺或者壓覺的其中一種, 僅有若干領先的產品原型可以實現較為完整的動壓覺混合。並且，當前市場上尚無任何一家公司推出兼具動覺與壓覺的互動產品。騰訊 Robotics X 實驗室在動覺和壓覺反饋執行器方面給出了自己的解決方案，在自由度等指標上實現了行業領先的表現。作為機器人執行抓握等任務的末端機構，執行器需要全方位考量施加壓力、有效載荷、空間限制等因素。此外，更高效地實現執行器與感測器之間的協同工作也是機器人順利完成複雜任務的重要保證。最後，將動壓覺結合的工作從原型階段跨越到現實應用也是行業未來發力的重點。更多技術細節內容將在後續論文解讀中釋出，或請參閱原論文。https://www.eet-china.com/mp/a94384.htmlhttps://cloud.tencent.com/developer/news/692662https://www.jiqizhixin.com/articles/2020-09-08-11https://hanspub.org/journal/PaperInformation.aspx?paperID=50288