Halcon Solution Guide 3-C 3D Vision 學習總結（1）

1、運用3D視覺需要哪些基礎知識

    首先，相機標定是最基本的，不復雜，幾行程式碼搞定。你可以利用相機標定，將影像處理的結果轉換成三維資訊。第三章將展示如何用單個相機在特定平面上完成一個普通的3D視覺任務。還有怎麼去矯正影像，讓影像好像是從一個沒有畸變，垂直與物體的相機裡拍出來的一樣。建議先看第二章和第三章，再根據手頭的任務，選擇相關的章節找到特定的方法進行學習。

2、怎麼得到物體的3D位置的姿態

• 根據對應點對一已知三維物體進行位姿估計。需要一個相機標定板，三維物體上至少有三個點，其在世界座標系的座標是已知的。先找到標定板在相機所標定的空間的座標，再將標定板的位置設為世界座標系的原點，然後利用三點和在影像上的位置，得到物體在相機空間的位姿，最後通過座標系變換，得到物體在世界座標系的位姿。參考例程solution_guide\3d_vision\
  pose_of_known_3d_object.hdev，章節4.1。這種方法也叫“mono 3D”。
• Halcon的3D匹配，是基於3D模型去尋找3D物體。3D模型必須先提供好，可用的方法有基於形狀的3D匹配（章節4.2）和基於表面的3D匹配（章節4.3）。前者是從2D影像上尋找3D模型，後者是從點雲資料裡尋找模型，點雲資料可以通過3D重構獲得，例如立體光影技術。注意，基於表面匹配也稱作“體積匹配”，只依賴於物體表面的點雲。
• Halcon的3D幾何擬合（章節4.5），可以擬合3D形狀幾何元素，例如圓柱體，球體，或者平面到3D場景中，即，成為可用作3D物件模型的一組3D點，可通過3D重建方法獲得，例如立體聲或光片。
• 校準的透視匹配基於2D模型在影像中定位透視變形的平面物件。 特別是，它會自動搜尋與搜尋影像中的2D模型相對應的物件，並確定它們的3D姿勢。 該模型通常從代表性模型影像獲得。 可用的方法是校準的透視可變形匹配（第112頁的第4.6節），它通過輪廓和基於校準的描述符匹配（第112頁的第4.7節）描述模型，該匹配通過一組被稱為“”的特徵點來描述模型“ 興趣點“。
• 圓形姿態估計（第113頁的第4.8節）和矩形姿態估計（第114頁的第4.9節）使用圓和矩形的透視變形來以相當方便的方式確定包含圓和/或矩形的平面物件的姿勢。

3、怎麼檢測3D物體

 如果在指定平面中進行檢查就足夠了，您可以使用相機校準聯合2D檢查，如第57頁第3章所述；

如果需要物體的3D表面或檢查不能縮小到可以在一個指定的平面上，你可以使用3D重建聯合3D檢查。 即，使用點，表面或者高度資訊，進行3D重建，得到一個3D物體，然後檢查物體，例如，將其與參考點，曲面或高度進行比較。

如下是介紹3D位置識別和3D檢測方法的概覽圖，3D物體模型的介紹參見章節2.3。

4、如何重構一個三維物體

• HALCON的立體視覺功能（第115頁的第5章）允許基於從不同視角適當採集的兩個（雙目立體聲）或更多（多檢視立體聲）影像來確定物體表面上任何點的3D座標（ 通常由單獨的相機）。 使用多檢視立體聲，您可以在全3D中重建3D物件，特別是，您可以從不同側面重建它。
• 使用光片進行鐳射三角測量（第145頁的第6章）可以獲得物體的高度輪廓。請注意，除了單個相機外，還有其他硬體，特別是鐳射線投影儀和相對於物體移動物體的單元。 需要相機和鐳射。
• 使用焦距深度（DFF）（第161頁的第7章），可以使用由單個遠心相機獲取但位於不同焦點位置的影像來獲得高度輪廓。 為了改變焦點位置，需要額外的硬體，如平移臺或線性壓電平臺。 請注意，根據修改焦點位置的方向，結果對應於高度影像或距離影像。 高度影像包含特定物件或測量平面與物件點之間的距離，而距離影像通常包含相機與物件點之間的距離。 兩者都可以稱為深度影像或“Z影像”。
• 使用光度立體（參考手冊，“3D重建。光度立體”一章），可以使用由單個遠心相機獲取的影像獲得高度影像，但至少有三個不同的遠心照明光源，與攝像機的空間關係必須與 知道。 注意，高度影像僅反映相對高度，即，利用光度立體聲，沒有校準的3D重建是可能的。
• 除了HALCON提供的3D重建方法，您還可以通過特定的3D感測器獲取3D資訊，如飛行時間（TOF）相機或使用結構光的特定設定。 這些相機通常經過校準並返回X，Y和Z影像。
• 不同3D重構方法的特性對比

三維重構方法	硬體需求	物體尺寸	能得到的結果
多目立體視覺	多相機，標定物	>10cm	3D物體模型或者三維座標
雙目視覺	兩個相機，標定物	>10cm	三維座標，視差影像，深度影像
片光技術	相機，鐳射線投影儀，單位移動物體，標定物	物體一定要擬合移動單位	深度影像
光度立體技術	遠心相機，至少三個方向遠心光源	由遠心鏡頭的視野限制	深度影像
DFF技術	遠心相機，改變焦點位置的硬體	<2cm	深度影像
3D感測器	特殊相機例如標定的TOF	30cm至5m	X，Y，Z三個方向的影像

5、如何擴充3D視覺到機器視覺

3D視覺的一個典型應用領域就是機器視覺，你必須執行一個額外的標定——手眼標定。（章節8）

6、還可能應用在哪裡

拼圖（章節9）

如果影像變形，即不是透視變形，也不是鏡頭畸變導致的，在一個凹凸不平的表面，網格糾正就可以用的到了（章節11）