三維重建技術通過深度資料獲取、預處理、點雲配準與融合、生成表面等過程，把真實場景刻畫成符合計算機邏輯表達的數學模型。這種模型可以對如文物保護、遊戲開發、建築設計、臨床醫學等研究起到輔助的作用。

1.1 研究背景及意義

人類通過雙眼來探索與發現世界。人類接收外部資訊的方式中，有不到三成來自於聽覺、觸覺、嗅覺等感受器官，而超過七成、最豐富、最複雜的資訊則通過視覺[1]進行感知的。計算機視覺便是一種探索給計算機裝備眼睛（攝像頭）與大腦（演算法）的技術，以使計算機能夠自主獨立的控制行為、解決問題，同時感知、理解、分析外部環境。20世紀60年代，計算機視覺得到了最初的發展。該階段的研究重心主要體現在如何從二維影像中恢復出如立方體、圓柱體等立體化的三維形狀，解釋各個物體的空間位置關係。1982年，David Marr[2]從資訊處理的角度對數學、神經生理學、計算機圖形學等學科的研究成果進行了歸納總結，並在此基礎上提出了一系列計算機視覺理論。得益於這個完整明確的理論體系，計算機視覺得到了蓬勃的發展。它的核心思想是從二維影像恢復三維結構。圖1-1展示的是經典Marr視覺資訊處理過程。

圖1-1 Marr視覺資訊處理過程
Fig.1-1 Process of Marr visual information
隨著科學技術的日新月異，計算機視覺的應用日益受到各行業的關注和重視，如裝置檢測與監視、醫學影像處理、文物保護[3]、機器人視覺、自動導航、工業產品外觀設計與生產等領域。計算機視覺技術為人們帶來了機遇，也帶來了挑戰。三維重建作為計算機視覺技術中最為最為熱門的研究方向之一，涉及到包括影像處理、立體視覺、模式識別等多個學科體系。利用計算機建立表達現實客觀景物的三維模型，並以此來滿足生產和生活的需要。隨著工業化程式的不斷髮展，多種技術的實現均有賴於目標物體三維資訊的獲取。三維重建現已被廣發的應用於生活和科研工作中，特別是在醫學治療、文物保護、遊戲開發、工業設計、航天航海等方面，展現出了極強的生命力和影響力。

1.2 三維重建技術簡介

三維重建技術的重點在於如何獲取目標場景或物體的深度資訊。在景物深度資訊已知的條件下，只需要經過點雲資料[4]的配準及融合，即可實現景物的三維重建。基於三維重建模型的深層次應用研究也可以隨即展開。人們按照被動式測量與主動式測量[5]對目標物體深度資訊的獲取方法進行了分類，下面對這兩種方式進行相應的介紹。

1.2.1 被動式三維重建技術

被動式一般利用周圍環境如自然光的反射，使用相機獲取影像，然後通過特定演算法計算得到物體的立體空間資訊。主要有以下三種方法：

1.紋理恢復形狀法

各種物體表面具有不同的紋理資訊，這種資訊由紋理元組成，根據紋理元可以確定表面方向，從而恢復出相應的三維表面。這種方法稱為紋理恢復形狀法[6] (Shape From Texture，SFT)。
紋理法的基本理論為：作為影像視野中不斷重複的視覺基元，紋理元覆蓋在各個位置和方向上。當某個佈滿紋理元的物體被投射在平面上時，其相應的紋理元也會發生彎折與變化。例如透視收縮變形使與影像平面夾角越小的紋理元越長，投影變形會使離影像平面越近的紋理元越大。通過對影像的測量來獲取變形，進而根據變形後的紋理元，逆向計算出深度資料。SFT對物體表面紋理資訊的要求嚴苛，需要了解成像投影中紋理元的畸變資訊，應用範圍較窄，只適合紋理特性確定等某些特殊情形。所有在實際使用中較為少見。

2.陰影恢復形狀法

SFS[7] (Shape From Shading，從陰影恢復形狀)法也是一種較為常用的方法。考慮到影像的陰影邊界包含了影像的輪廓特徵資訊，因此能夠利用不同光照條件下的影像的明暗程度與陰影來計算物體表面的深度資訊，並以反射光照模型進行三維重建。需要注意的是，畫素點的亮度受到包括光源指標、攝像機引數、目標表面材質等的制約。
陰影恢復形狀法的應用範圍比較廣泛，可以恢復除鏡面外的各種物體的三維模型。缺點體現在過程多為數學計算、重建結果不夠精細，另外不能忽視的是，SFS法需要準確的光源引數，包括位置與方向資訊。這就導致其無法應用於諸如露天場景等具有複雜光線的情形中。

3.立體視覺法

立體視覺法[8]（Multi-View Stereo，MVS)是另外一種常用的三維重建方法。主要包括直接利用測距器獲取程距資訊、通過一幅影像推測三維資訊和利用不同視點上的兩幅或多幅影像恢復三維資訊等三種方式。通過模擬人類視覺系統，基於視差原理獲取影像對應點之間的位置偏差，恢復出三維資訊。S.T.Barnard[9]等人對20世紀70年代到80年代之間出現的三維重建的演算法和評價體系做了概述。到了80年代中後期，出現了更多、更深層次的視覺原理，包括立體測量方法和深度感測器等，極大的促進了相關學科的發展。新興方法可以直接獲取景物的三維資訊，極大的節省了物力與人力成本。U.R.Dhond[10]等人提出了基於層次處理的三目立體約束方法。二十世紀90年代末，湧現出諸如影像匹配的前沿演算法、遮擋處理演算法等。M.Z.Brown[11]等人總結了2000年到2010年間的三維視覺發展的總體概況，包括遮擋、配準和效率等的相關分析。
雙目立體視覺重建，在實際應用情況優於其他基於視覺的三維重建方法，也逐漸出現在一部分商業化產品上; 不足的是運算量仍然偏大，而且在基線距離較大的情況下重建效果明顯降低 。
代表文章：AKIMOIO T Automatic creation of 3D facial models 1993
CHEN C L Visual binocular vison systems to solid model reconstruction2007
作為計算機視覺的關鍵技術之一，立體視覺法也其弊端。例如，立體視覺需要假設空間的平面是正平面，而實際情況卻與此相差甚遠。除此之外，匹配還存在歧義性：對於一幅影像上的某些特徵點，另外的影像可能存在若干個與之相似的特徵點。那麼如何選取最適配的匹配點，顯得較為棘手。如圖1-2所示，展示了Middlebury[16]資料集中Teddy和Cones場景的基準彩色影像、標準視差以及通過Graph Cuts[17]演算法獲取的立體匹配視差估計結果。雖然視差結果體現出了景物的三維位置關係，但是某些畫素點的視差與標準值仍有細微的差距。除此之外，對於如相機運動引數的確定、大型場景重建需要獲取多幀影像等問題，也極大的影響了立體視覺的深層次應用。

圖1-2(a) 基準彩色影像

圖1-2(b) 標準視差
參考：立體匹配導論

1.2.2 主動式三維重建技術

主動式是指利用如鐳射、聲波、電磁波等光源或能量源發射至目標物體，通過接收返回的光波來獲取物體的深度資訊。主動測距有莫爾條紋法、飛行時間法、結構光法和三角測距法等四種方法。

1.莫爾條紋法

莫爾條紋在生活中比較常見，如兩層薄薄的絲綢重疊在一起，即可以看到不規則的莫爾(Morie)條紋；微風的吹動窗紗時，條紋亦隨之運動。莫爾條紋法[18]起源於18世紀的法國，是一項古老又現代的測量方法。基本原理是將兩塊等間隔排列的直線簇或曲線簇圖案重疊起來，以非常小的角度進行相對運動來形成莫爾條紋。如圖1-3所示，在主光柵與指示光柵的交叉重合處，因光線的透射與遮擋而產生不同的明暗帶，即莫爾條紋。莫爾條紋隨著光柵的左右平移而發生垂直位移，此時產生的條紋相位資訊體現了待測物體表面的深度資訊，再通過逆向的解調函式，實現深度資訊的恢復。這種方法具有精度高、實時性強的優點，但是其對光照較為敏感，抗干擾能力弱。

圖1-3 雙光柵莫爾條紋法

提出：WIKTIN recovering surface shape and orientation from texture (1987)（被引用454 次）。
發展：Warren 2010 對 wiktin 方法進行改進使用了透視投影；
Liboy 2006 給出了在紋理單元結構發生改變的情況下的重建方法。
優點：精度高，對光照和噪聲不敏感。
缺點：只應用於具有規則紋理的物體。

2.飛行時間法

飛行時間法[19] (Time of Flight，ToF)指的是在光速及聲速一定的前提下，通過測量發射訊號與接收訊號的飛行時間間隔來獲得距離的方法。這種訊號可以是超聲波，也可以是紅外線等。飛行時間法相較於立體視覺法而言，具有不受基線長度限制、與紋理無關、成像速度快等特點。但是其也有一定的缺點。首先，ToF相機的解析度非常低。例如圖1-4所示，當今解析度最高的PMD Camcube 2.0 相機，也僅為204×204畫素；其次，ToF相機容易受到環境因素的影響，如混合畫素、外界光源等，導致景物深度不準確；最後，系統誤差與隨機誤差對測量結果的影響很大，需要進行後期資料處理，主要體現在場景畫素點的位置重合上。值得注意的是，ToF相機的售價達到了數萬美元，受眾較窄。

圖1-4 SR4000 ToF相機
Fig.1-4 SR4000 ToF camera

3.結構光法

結構光法[20](Structured Light)通過向表面光滑無特徵的物體發射具有特徵點的光線，依據光源中的立體資訊輔助提取物體的深度資訊。具體的過程包括兩個步驟，首先利用鐳射投影儀向目標物體投射可編碼的光束，生成特徵點；然後根據投射模式與投射光的幾何圖案，通過三角測量原理計算攝像機光心與特徵點之間的距離，由此便可獲取生成特徵點的深度資訊，實現模型重建。這種可編碼的光束就是結構光，包括各種特定樣式的點、線、面等圖案。結構光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問題。因為實現簡單且精度較高，所以結構光法的應用非常廣泛，目前已有多家公司生產了以結構光技術為基礎的硬體裝置，如PrimeSense公司的Prime Sensor、微軟公司的Kinect和華碩公司的Xtion PRO LIVE等產品[21]。圖1-5展示了利用結構光技術採集文物三維資訊的場景。
提出：Woodham 對 SFS 進行改進（1980 年）：photometric method for determining surface orientation from multiple images (該文章被引用了 891 次)
發展：Noakes ：非線性與噪聲減除 2003 年；
Horocitz ：梯度場合控制點 2004 年；
Tang ： 可信度傳遞與馬爾科夫隨機場 2005 年；
Basri ： 光源條件未知情況下的三維重建 2007 年；
Sun ：非朗伯特 2007 年；
Hernandez ： 彩色光線進行重建方法 2007 年；
Shi ： 自標定的光度立體視覺法 2010 年。

圖1-5 結構光法原理圖

4.三角測距法

三角測距法[22]是一種非接觸式的測距方法，以三角測量原理為基礎。紅外裝置以一定的角度向物體投射紅外線，光遇到物體後發生反射並被CCD（Charge-coupled Device，電荷耦合元件）影像感測器所檢測。隨著目標物體的移動，此時獲取的反射光線也會產生相應的偏移值。根據發射角度、偏移距離、中心矩值和位置關係，便能計算出發射器到物體之間的距離。三角測距法在軍工測量、地形勘探等領域中應用廣泛。

參考文獻

[1] Szeliski R. Computer vision: algorithms and applications[M]. Berlin: Springer, 2010.
[2] D. Marr, et al. A Computational Theory of Human Stereo Vision. Proc.R.Soc.Lond. 1979, B.204:301-328.
[3] Levoy, M. Pulli, et al. The Digital Michelangelo Project:3D Scanning of Large Statues. Proc.SIGGRAPH,2000.
[4] Anand A, Koppula H S, Joachims T, et al. Contextually guided semantic labeling and search for three-dimensional point clouds[J]. The International Journal of Robotics Research, 2013, 32(1):19-34.
[5] Mada S K, Smith M L, Smith L N, et al. Overview of passive and active vision techniques for hand-held 3D data acquisition [C]//Opto Ireland. International Society for Optics and Photonics, 2003: 16-27.
[6] D. A. Forsyth, J. Ponce, Computer Vision: A Modern Approach. Prentice Hall 2001
[7] Horn B. K. P. Shape from shading: a method for obtaining the shape of a smooth opaque object from one view. PhD thesis, Department of Electrical Engineering, MIT, Cambridge. 1970.
[8] Ikeuchi K. Determining surface orientations of specular surfaces by using the photometric stereo method [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions, 1981, (6): 661-669.
[9] S. T. Barnard, M. A. Fisehler. Computational Stereo[J].ACM Computing Surveys. 1982, Vol.14:553-572.
[10] U. R. Dhond, J. K. Aggarval. Struct from Stereo—A Review [J]. IEEE Trans. Systems, Man, and Cybemeties.1989, Vol.19: 1489-1510.

轉載請註明出處：http://blog.csdn.net/wangyaninglm/article/details/51558310
來自：shiter編寫程式的藝術