近日，由百度研究院機器人與自動駕駛實驗室（RAL）團隊牽頭開發的全新無人挖掘機作業系統（AES）這一最新技術成果，登上了國際頂級期刊《Science》子刊《Science Robotics》，並獲得了評審專家與期刊編委的高度評價。
該研究融合了感知、運動規劃和控制系統，可驅動挖掘機自主完成挖裝任務，進行24小時連續無人化作業，併成為全球首個實際落地的、可長時間作業的無人挖掘機系統，在工程機械自動化、無人化作業領域具有重要價值和影響。
隨著新型基礎設施建設的大力推進，工程機械行業乘風而上，並不斷向數字化、智慧化方向演進。挖掘機被譽為工程機械“皇冠上的明珠”，在資源開採、工業生產、建設施工和搶險救災等領域應用廣泛，且擁有十分可觀的全球市場份額。
為什麼要將挖掘機無人化？實際上，由於工作環境和能力要求等原因，挖掘機行業普遍存在招工難的人力短缺問題；挖掘機操作手還會遇到塌方、惡劣天氣等問題，這些問題為工業生產帶來巨大挑戰。基於此，百度無人挖掘機作業系統（AES）應運而生。
挖掘機惡劣工況和作業環境
通用型無人挖掘作業系統
百度RAL實驗室牽頭提出了百度無人挖掘機作業系統（AES）的研究，並聯合馬里蘭大學和百度智慧雲事業部合作開發。AES包含一套以三維環境感知、實時運動規劃、魯棒運動控制為核心的AI演算法,可在不同工作情況下進行無人化作業。
無人挖掘機系統（AES）硬體系統
技術上，AES實現了三個方面的提升：使用多種感測器融合和感知演算法，感知模組可以支援無人挖掘機在不同的工況和惡劣環境下進行無人化作業，保證了AES系統的作業效率、魯棒性和泛化能力；作業和運動規劃模組融合了資料驅動的學習演算法和最佳化演算法，可以有效計算挖掘位置和挖掘機剷鬥軌跡，確保作業效率；高精度運動控制系統，有效實現挖掘機各機構的精準運動控制。
無人挖掘機系統（AES）框架圖
具體而言，首先，感知系統利用低成本相機和鐳射雷達，實時生成高精度的三維環境地圖，透過計算機視覺和深度學習等演算法，AES可以檢測作業環境中的運輸卡車、障礙物、石塊、標識和人員等，並對卡車、障礙物等物體進行準確的三維姿態估計，同時也可以識別作業物料材質等資訊。其次，基於感知系統的資訊反饋，透過學習和最佳化演算法，AES能夠快速進行作業規劃和多自由度的挖掘機各關節運動路徑規劃，確保提升作業效率的同時降低機械損耗。最後，透過高精度運動閉環控制演算法，AES能夠實現挖掘機各機構的精準運動控制，解決了傳統工程機械中運動控制無法閉環、軌跡難以跟蹤、跟蹤精度差等難題。此外，AES還包含一整套軟體和介面設計，協助終端使用者完成系統的操作、部署和使用。
AES視覺感知系統功能模組
以石塊操作任務為例，AES系統的操作流程如下。感知系統以“從粗到細”的方式對場景資訊進行處理。首先對影像進行增強處理，消除粉塵對整個識別系統的影響；之後對作業區域的物料進行材質識別；然後將影像中石塊所在區域進行語義和例項分割演算法處理。透過融合二維例項分割結果和LiDAR三維點雲，確定石塊的精確三維位置。感知模組最後將石塊三維位置反饋給規劃和控制模組，AES最後透過挖掘機多自由度運動規劃和運動閉環控制，實現移除石塊的任務。
AES石塊操作示例
目前，AES已在多種複雜的室內和室外不同工況下進行了挖裝測試、石塊操作及挖溝任務等，充分顯示了AES系統具備處理多種挖掘機任務的能力，證明了AES系統的技術先進性、作業任務相容性、系統穩定性和魯棒性。
AES測試場景
實現落地應用 百度AI助力工業生產智慧化
AES已經落地工業廢料處理相關領域，在實際的無人化、自動化應用中發揮重要作用。AES實現了工業廢料連續24小時自動上料功能，助力工業廢料處理產線實現全程的無人化處理。在工業廢料上料過程中，AES感知模組首先進行工業廢料的地形三維重建，確定待挖掘區域；運動規劃模組根據感知模組的資訊反饋設計運動軌跡，控制模組根據運動軌跡進行工業廢料處理。目前AES賦能的無人挖掘機系統已在工業廢料處理產線上無故障作業了數千小時，充分顯示了AES系統的穩定性和魯棒性，有效減少了工業廢料對挖掘機操作手的損害，併為客戶大幅節省人力成本。
AES連續24小時無人作業
在AES系統的基礎上，百度RAL聯合百度智慧雲事業部開發的“盤古工程機械無人作業平臺”，已成為國內首個基於智慧雲平臺、軟硬一體、技術領先的工程機械無人作業平臺。基於盤古平臺的挖掘機，在沒有駕駛員操作的情況下，自主感知作業環境、規劃任務並完成作業。
目前，百度盤古團隊和徐工等工程機械頭部廠商打磨合作，最佳化和落地無人化作業系統，幫助工程機械使用者提升生產安全性、降本增效，推動工業生產向數字化、智慧化、安全化、綠色化的目標邁進。
“百度盤古”賦能工程機械無人化作業
建設與發展是人類社會的主旋律，工業生產的自動化和智慧化是未來的主流趨勢。百度將繼續創新與迭代AI技術，瞄準工業生產細分領域，為工業生產真實場景技術轉型突破賦能，持續推動技術落地產業實際應用。