【機器視覺】基於機器視覺的工業機器人定位系統；機器視覺技術在印刷包裝行業中的應用

建立了一個主動機器視覺定位系統,用於工業機器人對零件工位的精確定位。

採用基於區域的匹配和形狀特徵識別相結合的影像處理方法,該方法經過閾值和形狀判據,識別出物體特徵。經實驗驗證,該方法能夠快速準確地得到物體的邊界和質心,進行資料識別和計算,再結合機器人運動學原理控制機器人實時運動以消除此誤差,滿足工業機器人自定位的要求。

1. 引言

目前工業機器人僅能在嚴格定義的結構化環境中執行預定指令動作，缺乏對環境的感知與應變能力，這極大地限制了機器人的應用。利用機器人的視覺控制，不需要預先對工業機器人的運動軌跡進行示教或離線程式設計，可節約大量的程式設計時間，提高生產效率和加工質量。

Hagger 等人提出通過基於機器人末端與目標物體之間的誤差進行視覺反饋的方法；Mezouar 等人提出通過影像空間的路徑規劃和基於影像的控制方法 。國內這方面主要應用於焊接機器人對焊縫的跟蹤。

本文利用基於位置的視覺伺服思想，以六自由度垂直關節型噴塗機器人為載體，提出一種基於機器視覺的工業機器人自定位控制方法，解決了機器人末端實際位置與期望位置相距較遠的問題，改善了噴塗機器人的定位精度。

2. 視覺定位系統的組成

機器人視覺定位系統構成如圖 1 所示，在關節型機器人末端安裝噴塗工具、單個攝像機，使工件能完全出現在攝像機的影像中。系統包括攝像機系統和控制系統：

（1）攝像機系統：由單個攝像機和計算機（包括影像採集卡）組成，負責視覺影像的採集和機器視覺演算法；

（2）控制系統：由計算機和控制箱組成，用來控制機器人末端的實際位置；經 CCD 攝像機對工作區進行拍攝，計算機通過本文使用的影像識別方法，提取跟蹤特徵，進行資料識別和計算，通過逆運動學求解得到機器人各關節位置誤差值，最後控制高精度的末端執行機構，調整機器人的位姿。

　圖1 噴塗機器人視覺定位系統組成

3. 視覺定位系統工作原理

3.1 視覺定位系統的工作原理

使用 CCD 攝像機和1394 系列採集卡，將視訊訊號輸入計算機，並對其快速處理。首先選取被跟蹤物體的區域性影像，該步驟相當於離線學習的過程，在影像中建立座標系以及訓練系統尋找跟蹤物。學習結束後，影像卡不停地採集影像，提取跟蹤特徵，進行資料識別和計算，通過逆運動學求解得到機器人各關節位置給定值，最後控制高精度的末端執行機構，調整機器人的位姿。工作流程如圖2 所示。

圖 2 視覺定位系統軟體流程圖

3.2 基於區域的匹配

本文采用的就是基於區域的相關匹配方法。它是把一幅影像中的某一點的灰度領域作為模板，在另一幅影像中搜尋具有相同（或相似）灰度值分佈的對應點領域，從而實現兩幅影像的匹配。在基於區域相關的演算法中，要匹配的元素是固定尺寸的影像視窗，相似準則是兩幅影像中視窗間的相關性度量。當搜尋區域中的元素使相似性準則最大化時，則認為元素是匹配的。

定義P (i, j) P 是模板影像中一點，取以P (i, j) P 為中心的某一鄰域作為相關視窗K ，大小為(2w +1)，假設K 在原始圖中，水平方向平移Δu ，垂直方向平移Δu 後，K 所覆蓋下的那塊搜尋區域叫做子圖S k ，若K 和S k 相同，則它們的差為零，否則不為零。由此定義K 和S k 的相關函式為：

當D(K, S k )達到最小，K 與S k 達到最佳匹配。

3.3 影像的特徵提取

工作臺上的工件與工作臺背景在顏色方面具有很大的差別，即工件呈現為黑色，將這一資訊作為識別工件的重要特徵。

工件的邊緣處灰度有急劇的變化，可以以此判斷出工件的邊界點。採用掃描線的方法，掃描方向上灰度劇變的畫素點就是邊界點。最後，通過最小二乘法把找到的邊界點擬合出圓周，並計算出圓心位置。

3.4 實驗與分析

實驗目的是通過機器視覺，快速識別出工件的特徵（這裡是圓孔的圓心）。

（1）首先在原始影像（圖3）選取被跟蹤工件的區域性影像作為模板影像template(圖4)。

（2）以區域性影像template 為模板，在原始影像中進行基於區域的匹配，並以template 的左

下角為原點，建立座標系。然後定義一個搜尋區域ROI(region of interest)，根據要提取的特徵選擇區域的形狀，這裡選擇環形區域。搜尋區域必須包含全部目標特徵。在ROI 中提取工件的特徵，如圖3 所示。

圖 3 圓心識別

該步驟相當於離線學習的過程。每次使用前只需要學習一次即可。通過離線學習，系統得到ROI 與工件的相對位置關係，以便實時識別中工件出現偏移、翻轉等，ROI 都可以準確出現在合適位置。

（3）離線學習後，視覺系統經過區域匹配、閥值分割和邊緣提取等步驟找到需要識別的特徵（這裡是圓孔的圓點），如圖4 所示。

圖4 實時識別

（3）離線學習後，視覺系統經過區域匹配、閥值分割和邊緣提取等步驟找到需要識別的特徵（這裡是圓孔的圓點），如圖4 所示。

3.5 結果分析如下：

（1）識別率分析：第一步通過離線學習，訓練提取形狀特徵。第二步使用離線學習得到的座標關係，實時跟蹤工件，得到需要跟蹤的形狀特徵資訊。只要離線學習恰當，目標特徵就準確識別並且得到相關資訊。

（2）實時處理結果分析：影像採集卡的採集速度是25 幀/s，每幅圖採集時間為40ms。攝像頭採集一幅影像需要20ms，該影像處理的速度為10ms/幅。通過程式優化，在採集的同時進行影像處理，而且影像處理的速度比採集的時間要短，就避免了影像的失真和抖動。在物體運動不超過極限速度時，能夠較準確地找到圓心的位置。

4. 空間座標的獲取

由一幅影像得到的資訊是二維資訊，程式中使用的座標是以畫素為單位的，機器人在空間運動需要將影像的資訊換算成三維空間座標。其計算過程如下：

（1）以工件上圓孔的圓心為機器人定位基準，A(X ,Y, Z)圓心的世界座標。當圓心與視覺影像的中心重合時，機器人定位完成。

（2）標定攝像機，得到投影矩陣ce M ，即影像中兩個畫素間的距離與世界座標系的轉換關係。

（3）攝像機拍攝影像後，經過特徵識別得到圓心在影像中座標a(x, y)，計算出與影像中心的偏移量Δx、Δy。

（4）以A(X ,Y, Z)為基準，按照下式計算機器人末端的世界座標B(X ',Y ', Z')：其中，Mc是攝像機與機器人末端的座標轉換引數。

注意，本文使用單目視覺，所以這裡假設 Z 座標不變；如果使用雙目視覺，就可以通過立體視覺計算出Z’。

5. 誤差分析與補償

本專案的噴塗機器人是六自由度的旋轉關節操作臂，與Unimation PUMA560相似，關節4、5、6 的軸線相互垂直，且相交與一點。應用參考文獻3 的方法計算如下：

（1）通過機器視覺可以得到機器人末端的空間位置座標B(X ',Y ', Z')。

（2）確定機器人的連桿參數列，如下表：

（3）運用DH 法計算各關節的轉角θi ：

6. 結論

本文描述了基於機器視覺的工業機器人定位系統，該系統將基於區域的匹配和形狀特徵識別結合，進行資料識別和計算，能夠快速準確地識別出物體特徵的邊界與質心，機器人控制系統通過逆運動學求解得到機器人各關節位置的轉角誤差，最後控制高精度的末端執行機構，調整機器人的位姿以消除此誤差。從而解決了機器人末端實際位置與期望位置相距較遠的問題，改善了噴塗機器人的定位精度。該方法計算量小，定位準確，具有工程實用性。本系統是使用 C#在Visual Studio 2003 環境中編寫。

機器視覺技術在印刷包裝行業中的應用

機器視覺就是用攝像機代替人眼，用計算機代替人的大腦。機器視覺用於印刷、包裝質量檢測的工作原理也很簡單，用攝像機拍攝（採集）印品的影像，在計算機中與該印品標準影像（模板）比較，如果發現差異並超出設定的公差範圍，即判定為不合格產品。當然，實際的機器視覺系統要複雜的多。

1.線上檢測和離線檢測

視覺檢測系統按照其安裝的載體可分為線上檢測系統和離線檢測系統。

　　線上檢測系統安裝在膠印機、凹印機、柔印機、印碼機等印刷裝置上，實時檢測印刷質量。印品可以是單張紙，也可以是捲筒紙。線上檢測系統與離線檢測系統的視覺檢測部分在功能上基本相同，最主要的區別在於缺陷品的處理方法上。當發現缺陷時，線上檢測系統通常記錄下缺陷的位置（長度：捲筒紙，張數：單張紙），或使用噴碼機、貼標機、打標機在紙邊做出標記，號碼檢測記錄出錯號碼或相鄰張的號碼。

　　離線檢測系統通常裝在檢品機或復卷機上。除可實現線上檢測系統的位置記錄與標記功能外，檢品機通常具有分倉功能，根據檢測結果將好、壞品自動分配到不同的倉中。

2.質量分析、跟蹤和管理

採用檢測裝置進行質量檢測可提供檢測全過程的實時報警和詳盡、完善的分析報告。現場操作者可以根據全自動檢測裝置的實時報警及分析報告，對工作中的問題進行調整。管理者可以依據檢測結果的分析報告，對生產過程進行跟蹤，更有利於生產技術的管理。因為客戶所要求的，高質量的檢測裝置，不僅僅是停留在檢出印刷品的好與壞，還要求具備事後的分析能力。某些質量檢測裝置所能做的不僅可以提升成品的合格率，還能協助生產商改進工藝流程，建立質量管理體系，達到一個長期穩定的質量標準。

3.機器視覺能夠給我們帶來什麼

　　顯然，儘管中國已然是一個印刷大國，然而中國還不是印刷強國。我們要走向世界，除了採用先進的印刷裝置和檢測裝置外，還要提高管理水平。管理就是生產力，向管理要效益，向管理要成本，當然，這一切要在保證在相同質量和服務的前提下。安裝自動化的視覺檢測系統，前期需要一定的投入，然而，檢測系統的在質量檢測的優勢，會給企業在質量和人工成本上帶來長期的效益。

　　視覺質量檢測在印刷包裝行業中的應用可以在印前、印刷過程中和印後，但目前多數應用集中在印後質量檢查。中國有幾萬家印刷企業，真正使用檢測系統的很少，除印鈔、票證等特殊行業外，主要是在包裝行業。包裝行業對印刷要求較高，對質量和色彩的要求比較特殊。包裝印刷廠必須具備獨特的產能優勢、技術優勢和質量優勢，才能滿足客戶對於印量、週期和質量的要求。專門針對菸草行業提供印刷服務的煙印企業的出現，即是一例。

　　推廣機器視覺檢測，首先要使印刷包裝企業更多的瞭解機器視覺。裝在哪裡、怎麼安裝、如何達到最好效果、能帶來什麼具體效益，這一切都需要不斷地普及和宣傳。印刷包裝行業的從業者要提出自己的具體需求，學習和掌握機器視覺檢測的概念和操作；機器視覺行業的從業者要了解印刷的工藝，生產流程，操作方式和質量標準，只有兩者的緊密結合，才能有真正符合中國國情的自動化視覺檢測系統，才能達到提高質量、提高效率、降低成本的目的。

人工智慧賽博物理作業系統

AI-CPS OS

“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧）分支用來的今天，企業領導者必須瞭解如何將“技術”全面滲入整個公司、產品等“商業”場景中，利用AI-CPS OS形成數字化+智慧化力量，實現行業的重新佈局、企業的重新構建和自我的煥然新生。

AI-CPS OS的真正價值並不來自構成技術或功能，而是要以一種傳遞獨特競爭優勢的方式將自動化+資訊化、智造+產品+服務和資料+分析一體化，這種整合方式能夠釋放新的業務和運營模式。如果不能實現跨功能的更大規模融合，沒有顛覆現狀的意願，這些將不可能實現。

領導者無法依靠某種單一戰略方法來應對多維度的數字化變革。面對新一代技術+商業作業系統AI-CPS OS顛覆性的數字化+智慧化力量，領導者必須在行業、企業與個人這三個層面都保持領先地位：

1. 重新行業佈局：你的世界觀要怎樣改變才算足夠？你必須對行業典範進行怎樣的反思？

2. 重新構建企業：你的企業需要做出什麼樣的變化？你準備如何重新定義你的公司？

3. 重新打造自己：你需要成為怎樣的人？要重塑自己並在數字化+智慧化時代保有領先地位，你必須如何去做？

AI-CPS OS是數字化智慧化創新平臺，設計思路是將大資料、物聯網、區塊鏈和人工智慧等無縫整合在雲端，可以幫助企業將創新成果融入自身業務體系，實現各個前沿技術在雲端的優勢協同。AI-CPS OS形成的數字化+智慧化力量與行業、企業及個人三個層面的交叉，形成了領導力模式，使數字化融入到領導者所在企業與領導方式的核心位置：

1. 精細：這種力量能夠使人在更加真實、細緻的層面觀察與感知現實世界和數字化世界正在發生的一切，進而理解和更加精細地進行產品個性化控制、微觀業務場景事件和結果控制。

2. 智慧：模型隨著時間（資料）的變化而變化，整個系統就具備了智慧（自學習）的能力。

3. 高效：企業需要建立實時或者準實時的資料採集傳輸、模型預測和響應決策能力，這樣智慧就從批量性、階段性的行為變成一個可以實時觸達的行為。

4. 不確定性：數字化變更顛覆和改變了領導者曾經仰仗的思維方式、結構和實踐經驗，其結果就是形成了複合不確定性這種顛覆性力量。主要的不確定性蘊含於三個領域：技術、文化、制度。

5. 邊界模糊：數字世界與現實世界的不斷融合成CPS不僅讓人們所知行業的核心產品、經濟學定理和可能性都產生了變化，還模糊了不同行業間的界限。這種效應正在向生態系統、企業、客戶、產品快速蔓延。

AI-CPS OS形成的數字化+智慧化力量通過三個方式激發經濟增長：

1. 創造虛擬勞動力，承擔需要適應性和敏捷性的複雜任務，即“智慧自動化”，以區別於傳統的自動化解決方案；

2. 對現有勞動力和實物資產進行有利的補充和提升，提高資本效率；

3. 人工智慧的普及，將推動多行業的相關創新，開闢嶄新的經濟增長空間。

給決策制定者和商業領袖的建議：

1. 超越自動化，開啟新創新模式：利用具有自主學習和自我控制能力的動態機器智慧，為企業創造新商機；

2. 迎接新一代資訊科技，迎接人工智慧：無縫整合人類智慧與機器智慧，重新

   評估未來的知識和技能型別；

3. 制定道德規範：切實為人工智慧生態系統制定道德準則，並在智慧機器的開

   發過程中確定更加明晰的標準和最佳實踐；

4. 重視再分配效應：對人工智慧可能帶來的衝擊做好準備，制定戰略幫助面臨

   較高失業風險的人群；

5. 開發數字化+智慧化企業所需新能力：員工團隊需要積極掌握判斷、溝通及想象力和創造力等人類所特有的重要能力。對於中國企業來說，創造兼具包容性和多樣性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。”  《論語·子路》雲端計算、大資料、物聯網、區塊鏈和 人工智慧，像君子一般融合，一起體現科技就是生產力。

如果說上一次哥倫布地理大發現，擴充的是人類的物理空間。那麼這一次地理大發現，擴充的就是人們的數字空間。在數學空間，建立新的商業文明，從而發現新的創富模式，為人類社會帶來新的財富空間。雲端計算，大資料、物聯網和區塊鏈，是進入這個數字空間的船，而人工智慧就是那船上的帆，哥倫布之帆！

新一代技術+商業的人工智慧賽博物理作業系統AI-CPS OS作為新一輪產業變革的核心驅動力，將進一步釋放歷次科技革命和產業變革積蓄的巨大能量，並創造新的強大引擎。重構生產、分配、交換、消費等經濟活動各環節，形成從巨集觀到微觀各領域的智慧化新需求，催生新技術、新產品、新產業、新業態、新模式。引發經濟結構重大變革，深刻改變人類生產生活方式和思維模式，實現社會生產力的整體躍升。

產業智慧官  AI-CPS

用“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧），在場景中構建狀態感知-實時分析-自主決策-精準執行-學習提升的認知計算和機器智慧；實現產業轉型升級、DT驅動業務、價值創新創造的產業互聯生態鏈。

長按上方二維碼關注微信公眾號： AI-CPS，更多資訊回覆：

新技術：“雲端計算”、“大資料”、“物聯網”、“區塊鏈”、“人工智慧”；新產業：“智慧製造”、“智慧金融”、“智慧零售”、“智慧駕駛”、“智慧城市”；新模式：“財富空間”、“工業網際網路”、“資料科學家”、“賽博物理系統CPS”、“供應鏈金融”。

官方網站：AI-CPS.NET

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com