基於深度學習的機器人目標識別和跟蹤

如今，深度學習演算法的發展越來越迅速，並且在影像處理以及目標物件識別方面已經得到了較為顯著的突破，無論是對檢測物件的型別判斷，亦或者對檢測物件所處方位的檢測，深度學習演算法都取得了遠超過傳統機器學習演算法的準確率。當前，可以機器人技術分為以下兩種學科的跨學科分支，即工程和科學。其包含電腦科學、機械工程、電子資訊工程等。機器人的設計與製造和用於機器人的運動規劃控制、感測器反饋和資訊處理的技術系統在機器人鄰域都有涉及。機器人視覺也是當下研究生的一個大熱門，其包含機器人對目標環境物件的視覺資訊處理以及影像方面的處理。從工程角度來說，他可以代替人的視覺系統，使得機器人可以代替人們取完成一些高危任務。

伴隨著當前智慧化社會的進步，其次，目前計算機視覺和機器人等人工智慧化的前言技術發展得到了學術界和人們廣泛的關注，並對我國工業領域以及社會生活產生了巨大的貢獻。目前移動智慧體的自主能力成為了當前一個主要熱門的研究方向。移動智慧體需要能實現完全自主的運動，還需要擁有對周邊環境資訊的感知能力、動態環境剖析能力以及對危險環境的判斷和執行能力。相對人類的視覺來說，目前移動智慧體的視覺判斷速度相對較慢，精確度也不高，智慧體可能無法在短時間內做出較為精準的判斷。在平時生活中，人們可以從自己的所見的景象、影片中，獲取目標物體的大致資訊，如物體的位置和它們的外型、大小等。這樣能使得人類透過自己的視覺顯示，反饋給自己的大腦，並快速識別鎖定所需要關注的目標，不需要過多的下意識的思考。例如，在駕駛汽車行駛時，我們必須做到及時的對前方以及兩側路段進行判斷。因此當下針對智慧體來，擁有一定的自主能力，且具有速度快、精確度較高的多目標識別演算法是十分重要的，一個好的演算法能提高智慧體的自主能動性，精確感知周邊環境，並結合感測器做出及時、準確的判斷，所以，當前針對自主移動智慧體的開發，其實時性和準確性也就成為了尤為重要的指標。

智慧體對目標識別和跟蹤在工業生產、偵察安全防控以及人們生活中都擁有者廣泛的應用前景，其也是機器人領域的重要研究方向之一。當前，深度學習技術的飛速發展以及工業相機、鐳射雷達等感測技術不斷提高，給目標識別奠定了良好的基礎。本文基於深度學習方法研究了機器人的目標識別和跟蹤進行了研究。

1  深度學習目標識別演算法國內外研究現狀

國內對目標識別技術的相關研究相對於西方一些國家起步較晚。上世紀八十年代，相關科研工作者提出將反向傳播演算法用於神經網路中，並首次提出了卷積神經網路的概念。

隨著時代的進步發展， Krizhevsky 等人提出了基於深度學習的卷積神經網路目標識別演算法，該演算法在著名 ImageNet 資料集上的檢測效果比第二名手工特徵提取演算法高了十幾個百分比，在當時取得了最好的檢測效果。深度學習也因為 ILSVC 賽事的推動下快速發展，透過賽事對目標識別加以一定的要求，使得大量學者開始使用當下較為熱門的深度學習相關技術去對目標識別演算法進行研究。

如今，全球有好多高校已經專門設立了人工智慧與計算機視覺研究實驗室。併成功開發出了許多運用目標識別演算法的實用應用軟體。此外，一些著名公司如微軟、微軟公司等，也開始投入大量資金和精力，進行智慧識別的相關研究，使得目標識別演算法逐步開始在工業生產中應用起來。

國內在目標識別技術和深度學習研究比國外起步較晚，但近些年發展的勢頭卻很迅猛。近年來，在一大批優秀科研技術人員的努力下，取得了很多豐碩的成果。湧現出了一大批相關產業的科技公司，如大疆、科大訊飛等。

2   機器人視覺國內外研究現狀

機器視覺技術的產生最早是在歐美及日本等國家，最早的一批較為有名的機器視覺相關產業公司也在這些國家，如光源供應商日本 Moritex、鏡頭廠家美國 Navitar、德國 Schneider等。不難發現，對於上個世紀歐美等較已開發國家在該技術上有一個較為超前的地位。

一直到上世紀九十年代初，我國也開始湧現出不少與視覺技術相關的公司，其覆蓋了很多工業及生活領域，如車牌自動識別、材料表面缺陷檢測等。但是由於生產的產品本存在一定的問題且市場需求較小。一直到九八年開始，我國的機器視覺技術才得到了重視。進入新世紀以後，國內很多企業開始有針對性的針對當下需求來確定所需要的機器視覺技術方案，並自主研發相關科研技術。近年來，由於政府的大力支援引導，我國的機器視覺行業得到了空前的發展。

3   目標識別與跟蹤技術的發展

1深度學習主流演算法結構

1.1卷積神經網路

在21世紀初期，卷積神經網路主要應用於任務分配以及視覺識別。影像分類是機器中類別的問題用以提取特徵以及辨別影像。新型的CNN 神經網路架構表現出以多個網路或多種網路級聯組合應用的新態勢，神經網路形態的快速進化為紛繁複雜的科研領域提供了智慧高效的資料分析手段。卷積神經網路(CNN) 演算法是用於識別和分類影像等高維資料的新興技術，具有相對較低的計算成本和較高的準確性。CNN 的隱藏層是卷積層和池化層。這些層可以提取影像的潛在特徵，並透過訓練對映輸入影像和輸出類別之間的函式關係。也就是說，這些層可以從人工分類中學習分類標準。

1.2RBM (受限玻爾茲曼機)

在過去十年中，RBM 的理論和應用得到了廣泛的研究。以影像處理為例，原來的 RBM 只適用於處理二值影像。為了處理真實影像，提出了一系列 RBM 變體，如高斯二進位制 RBM（GRBM）、協方差 RBM（cRBM）、均值和協方差 RBM (mcRBM) 和尖峰板 RBM (ssRBM)。受限玻爾茲曼機 (RBM) 是具有二分互動作用的機率圖模型，這些模型的一個特徵是觀察到的單位給定隱藏單元的狀態，它們是獨立的，反之亦然。這是由於互動圖的二部性，並且不依賴於單元的狀態空間。通常RBM 是用二進位制單位定義的，但也考慮了其他型別的單位，包括連續、離散和混合型別單位。

1.3 AE (自動編碼器)

自編碼器是一類人工神經網路，由編碼器和解碼器這兩個主要元件組成。編碼器是一組神經層，將其輸入的原始維度限制為一個更小的維度，稱為潛在空間。解碼器是一組層，其目的是將潛在空間擴充套件回輸入的原始維度。自動編碼器通常使用反向傳播演算法進行訓練，其中所需的輸出與輸入相同，這使其成為一種無監督學習方法。

1.4RNN (迴圈神經網路)

迴圈神經網路(RNN) 對於處理資料的順序性質至關重要，其中時間序列型別的資料就是一個典型示例。RNN 具有一種具有迴圈連線的神經元。這些連線用作記憶體，使 RNN 能夠從順序資料中學習時間動態性。目前，LSTM神經網路模型在人類活動識別方面表現出最先進的效能。

2目標識別演算法模型

Wenling Xue等學者為了減少不同天氣條件的影響，提出了一種新方法GMM來模擬包含不同天氣資料的目標。高斯分量密度的加權和可用於表示 GMM，GMM是引數機率密度函式。GMM可用於在不同天氣條件下擬合目標的特性;功能數量越多，系統效能越高。為了估計GMM引數，使用訓練有素的先前模型和訓練資料。GMM是圍繞用於檢測的最佳似然比測試構建的，使用簡單但有效的貝葉斯適應模型來推導天氣影響。與SVM相比，GMM的識別率提高了。但存在著如何選擇正確的閾值以及如何對背景噪聲進行建模以提高識別率等問題。Fan Zhang等學者提出一種改進的YOLO深度學習模型，自動識別玉米葉片的氣孔，並採用熵率超畫素演算法對氣孔引數進行精確測量。根據氣孔影像資料集的特點，對YOLOv5的網路結構進行了修改，在不影響識別效能的情況下，大大縮短了訓練時間。最佳化YOLO深度學習模型中的預測因子，降低了誤檢率。同時，根據氣孔物體的特點，對16倍和32倍的下采樣層進行了簡化，提高了識別效率。實驗表明該方法快速可靠。Hui Zeng等學者對非結構化網路物理系統環境交際機器人多模態感知模型進行構建。改進的PSOBT-SVM 在不改變SVM分類器數量的情況下最佳化了分類精度，並證明了其在多模態觸覺訊號分類方面的準確性。

3目標識別和跟蹤技術

運動物體檢測是識別給定區域或區域中物體的物理運動的任務。在過去的幾年中，移動物體檢測因其廣泛的應用而受到廣泛關注，如影片監控、人體運動分析、機器人導航、事件檢測、異常檢測、視訊會議、交通分析和安全。此外，運動目標檢測是計算機視覺和影片處理領域非常重要和有效的研究課題，因為它是影片目標分類和影片跟蹤活動等許多複雜過程的關鍵步驟。因此，從給定的影片幀序列中識別移動物件的實際形狀變得相關。然而，由於動態場景變化、光照變化、陰影的存在、偽裝和引導問題等各種挑戰，檢測運動中物體的實際形狀的任務變得很棘手。幀間差分法是檢測運動物體最常用的方法，它分別找到當前幀和前一個連續幀以及當前幀和下一個連續幀之間的差異，然後，該演算法選擇兩個不同幀之間的最大畫素強度值，接下來，將得到的差異幀劃分為不重疊的塊，並計算每個塊的強度總和和平均值，隨後，它使用閾值和強度平均值找到每個塊的前景和背景畫素。

幀間差分方法的缺點是在目標細節識別中比較粗糙。傳統的幀間差分方法對閾值的選擇範圍要求較高。如果閾值不合理，則檢測效果不理想，輪廓不清晰、破損。然而，幀間差分演算法相對簡單、速度快、易於硬體實現，能夠適應實時性要求高的應用環境。因此，該演算法具有很強的實用性。

可以在幀間差分演算法的基礎上提出一種最佳化改進的目標檢測與跟蹤演算法，構建兩次區域限定與Kalman濾波演算法融合的檢測方法。該演算法能夠迅速、準確地提取目標區域，且對目標位置具有較高的可預測性。

4   基於深度學習的機器人目標識別和發展趨勢

目標檢測是計算機視覺、深度學習、人工智慧等。它是更復雜的計算機視覺任務的重要前提，例如目標跟蹤、事件檢測、行為分析和場景語義理解。它旨在定位從影像中提取感興趣目標，準確確定類別並給出每個目標的邊界框目標。已廣泛應用於汽車自動駕駛、影片影像檢索、智慧影片監控、醫學影像分析、工業檢測等領域。傳統的人工提取特徵檢測演算法主要包括預處理、視窗滑動、特徵提取、特徵選擇、特徵分類和後處理六個步驟，一般針對特的識別任務。它的缺點主要是資料量小，可移植性差，沒有針對性，時間複雜度高，視窗冗餘，對多樣性沒有魯棒性變化，只有在特定的簡單環境下才有良好的效能。目標檢測作為計算機視覺中最基本和最具挑戰性的問題之一近年來備受關注。基於深度學習的檢測演算法已被廣泛應用在很多領域，但深度學習還有一些問題有待探索：

減少對資料的依賴。

實現小物體的高效檢測。

多類別目標檢測的實現。

現如今隨著科學技術的進步，以前很多機器視覺領域的技術都得到了長足的發展，但是在某些方面還是存在著一定的不足。比如說機器人的目標識別方面：機器人在對物體進行識別時，大目標通常都能正常檢測出來，但是對於小目標受限於目標大小和周圍環境影響等等會出現漏檢等情況。在目標跟蹤方面

專門應用於目標跟蹤任務的訓練集較少，無法適應當前多變的跟蹤環境，完成訓練任務。

當前的訓練模型受限於目標的遮擋、外觀的強烈變化等等問題，使得演算法無法實現長時間的精確跟蹤。除此以外跟蹤時，由於受到外界因素影響，可能會有一些相似物件，從而使得跟蹤出現錯誤。

但是我相信經過人們對於機器視覺領域的不斷研究，未來會有越來越多的基於深度學習的方法去最佳化目標跟蹤任務中出現的一系列情況，比如說採用大規模影片資料的資料集進行離線訓練等等，在目標識別領域未來也將會降低環境對檢測的影響能更加精準的檢測各種大小的目標，並且最終將兩種技術更好的結合在一起應用到機器人技術應用的各個方面。