計算機圖形學：虛擬和現實世界的融合

談及“計算機圖形學”，可能很多人會覺得很有距離感，或者和計算機視覺、影像處理等學科混淆。但是，如果告訴大家圖形學技術是支援各種影視特效、三維動畫影片、計算機遊戲、虛擬現實以及大家手機上各種照片影片美化特效背後的技術基礎，相信大家都不會再覺得陌生。

在計算機誕生後，如何在計算機中有效地表達、處理以及顯示三維資訊，很快變成了計算機應用研究中的一個重要問題。針對這一需求，計算機圖形學在二十世紀六十年代應運而生。在過去的幾十年中，計算機圖形學得到了長足的發展，並深深地影響了很多產業的發展和人們的生活、工作和娛樂方式。在硬體上，圖形學的發展催生了專用圖形處理器GPU（graphics processing unit）的產生與普及。在軟體上，圖形學的基本繪製流水線已成為作業系統的一部分，為各種計算機平臺提供顯示和圖形處理。應用上，圖形學催生了影視特效、三維動畫影片、資料視覺化、計算機遊戲、虛擬現實、計算機輔助設計和製造等一系列產業，併為這些產業的發展提供了核心技術和演算法支援。

作為一個計算機應用學科，計算機圖形學的內涵和外延在過去幾十年裡也在不斷地演進和擴充套件。如果我們回顧計算機圖形學年會ACM SIGGRAPH上過去十幾年發表的論文，一方面會驚歎其中紛雜精彩的研究題目和每篇文章作者的奇思妙想，另一方面也難免感到有些迷失，似乎圖形學僅僅是在不斷追求新奇和炫目的視覺效果。這是在一個快速發展的應用學科中很多剛入門的學者都會有的困惑。圖形學研究的核心是什麼？推動圖形學發展的動力是什麼？未來，隨著計算機圖形學的進一步發展，哪些應用場景將呼之欲出？伴隨著這些新的應用場景、需求的出現，我們面臨的技術挑戰又是怎樣的？在這篇文章中，我們試著對圖形學的現狀、發展和未來做一些思考，並嘗試一一回答這些問題。

圖形學的核心科學問題是在計算機中有效的表達和處理三維世界的各種屬性。圖形學所處理的三維資訊既包括物理真實世界中的三維資訊，也包含我們人類大腦透過想象產生的虛擬的三維資訊。計算機圖形作為一箇中介，提供了這兩個世界在計算機中的一個共同的表達和資訊交流渠道。

在計算機圖形學誕生之前，物理學家和數學家已經對真實三維世界進行了長期的研究，把我們觀察到的世界有效的解構為核心的一些物理量和他們之間相互作用的規律。如圖1所示，傳統的圖形學受物理學和數學啟發，將三維物件分解為幾何、表觀、行為或者動態三種屬性。其中幾何描述三維物件的幾何形狀；表觀描述三維物件的材料光照屬性以及材料如何和光相互作用；行為則表達了一個三維物件的動態特性從而決定了物件的運動和其他物體的互動行為。在這個基礎上，針對不同物件特性和應用要求的不同，圖形學研究中具體的三維物件又可以大致分為物體、人（包括類人的角色character）以及環境三部分。

針對這些三維物件的不同三維資訊（幾何、表觀、行為），我們把圖形學的研究方向和技術也可以大致分為三個大類：

一是獲取和建模。主要研究如何有效地構建、編輯、處理不同的三維資訊在計算機中的表達，以及如何從真實世界中有效地獲取相應的三維資訊。這既包括三維幾何建模和幾何處理這一研究方向，也包含材質和光照建模、人體建模、動作捕捉這些研究課題。

二是理解和認知。主要研究如何識別、分析並抽取三維資訊中對應的語義和結構資訊。這個方向有很多圖形學和計算機視覺共同感興趣的研究課題，如三維物體識別、檢索、場景識別、分割以及人體姿態識別跟蹤、人臉表情識別跟蹤等。

三是模擬和互動。主要研究如何處理和模擬不同三維物件之間的相互作用和互動過程。這既包含流體模擬和物理模擬，也包含繪製、人體動畫、人臉動畫等方面的研究。

圖1：圖形學中三維資訊的屬性，研究物件，與技術分類。最外環為圖形學的應用場景。淺藍底色的的為現有的應用。黃色高亮的為新的應用。

在應用層面，圖1中最外環黑色字展示了計算機圖形學的經典應用場景，圖形學的早期發展來源於使用計算機設計真實世界產品的需求，如汽車外形。因此，計算機輔助設計和製造成為了計算機圖形學在真實世界的核心應用場景。隨著圖形學的發展，建立虛擬場景實現人類的想象，成為了圖形學在虛擬世界的核心應用場景，產生了遊戲、影視特效等應用場景。隨著相機的普及，圖片和影片的編輯也成為圖形學中一個重要的橫跨虛擬世界和真實世界的重要應用。

有了上面的”洋蔥“結構，我們就可以對每一個圖形學論文或者研究熱點，透過其研究物件、三維屬性和所屬技術對其進行歸類，比如繪製（Rendering）演算法的研究是對場景的表觀屬性進行模擬和互動的研究：演算法透過研究光與環境的互動作用，生成真實感的影像。

回顧和思考過去幾十年來圖形學的發展，我們發現圖形學研究的核心物件和科學問題並沒有發生根本性的變化。但是技術和三維資訊的表達卻在不斷的發展更新。而這些技術的發展往往發端於新的硬體裝置的出現和普及。如圖2所示，新的硬體裝置的出現一方面引發了新的應用需求，或使得某個應用的技術成本急劇的下降。另一方面帶來了新的資料和技術問題，從而引發了新的研究方向和技術，推動了對圖形物件表達的更新和研究方法的更新。而這些技術的發展又反過來進一步推動了硬體的發展和應用的普及，從而帶動整個領域的快速迭代發展。光柵化圖形顯示技術的出現，GPU圖形學流水線的提出，可程式設計GPU的出現，三維掃描器的出現，影像採集裝置的出現和普及，是過去幾十年圖形學發展幾次浪潮的背後緣起。

圖2：對圖形學發展模式的一些思考

這裡我們以基於影像的繪製和光場表達的出現為例對上述的發展模式做一個分析。傳統圖形學中，所有的研究物件和屬性基本是基於物理表達。在這一表達下，幾何和物理過程成為了各個研究方向的基礎。從20世紀後期開始，隨著影像捕捉裝置的快速發展，人們有機會對真實世界進行大量的影像採集。這些大量的影像一方面需要研究者研發有效的影像編輯，分析和解構技術。另一方面，也使得研究者開始探索是否可以拋開背後的物理機制，直接基於三維世界的這些觀察建立新的表達。由此催生了基於全光函式的表達和基於影像的繪製技術。這裡，全光函式是一個高維函式，記錄了在一個三維場景的任意一點（x,y,z）沿任給方向(θ,Φ)，在某一時間t, 在每一波長λ上的光強。在真實世界中，雖然每種我們可以觀察到的視覺現象都可以解構為以上的三維基本屬性及其相互作用，但是我們的人眼和影像感測器可以觀測到的卻是光線，即全光函式（Plenoptic Function）（x,y,z,θ,Φ,t,λ）的一個取樣。影像的表達和繪製技術的進步，催生了計算攝像學的發展，反過來促進了新的攝像裝置的誕生和發展，並進一步促進了圖形學中對全光表達函式的取樣與重構、分析與編輯、認知與理解三個方向的研究。這一迭代發展過程，從根本上將三維資訊的表達由基於物理的表達推廣到新的基於觀測的表達, 從而擴充了研究方法，並將圖形學的研究領域從傳統三維幾何擴充套件到了影像和影片，並且和計算機視覺、影像和影片處理、光學成像等學科產生了新的交叉。

展望未來，我們認為，上述圖形學發展的模式還會繼續。硬體的發展和革新，會不斷促進了新的圖形技術和應用產生和迭代發展。在這個過程中，圖形學也在不斷地結合計算機視覺、光學、訊號處理與機器學習等學科的最新研究成果，來解決圖形學中的研究問題。下面，我們就從各個層面對計算機圖形學的未來進行一些大膽的展望。

在硬體裝置方面，我們認為下面的這些硬體會迎來新的發展並帶來圖形學技術和應用的革命性進展。

●   三維顯示。提供高解析度，高動態範圍的全三維顯示。包括近眼的光場顯示裝置，或者多焦平面顯示裝置。或者遠場的全沉浸式的光場顯示裝置。 

●   深度相機。提供和現有的彩色相機相匹配的高解析度，高幀率，低功耗，低噪聲的深度相機。

●   多自由度機械手和類人軟體機器人裝置。提供低成本，高精度，程式設計可控的多自由度機械手以及具有類人外形的軟體機器人。

●   三維印表機。提供同時支援多種列印材料，高精度，低價格，快速的三維列印。

●   IOT與感測器。提供小型、省電、低成本的能測量真實世界各種物理引數的感測器與實時的資料收集。

●   力學捕捉與反饋裝置。提供精確的，具有高空間解析度和力解析度的觸覺輸入輸出。

隨著上述硬體裝置的發展和普及，以及計算機視覺和機器學習技術的進步，圖形學的應用場景將得到更大的擴充套件。如圖1黃色高亮部分所示，面向真實世界，機器人和三維列印將成為新的應用場景。面向虛擬世界、虛擬現實，混合可視媒體將成為新興的應用場景，帶給人們更好的娛樂體驗，釋放人類的想象力。在真實世界和虛擬世界之間，擴增實境將虛擬資訊融合進真實世界，並增強人類在真實世界的體驗；數字化孿生則產生真實世界在虛擬世界的映象，方便我們更好地管理規劃真實世界。下面，我們將討論每個應用場景，和它們對相關圖形學技術的需求。

●   機器人 

隨著機械硬體，感測器裝置以及人工智慧技術的進步，多用途的機器人將逐漸被應用到不同的真實世界場景中，自動化或半自動化地幫助人類完成各種任務。自動駕駛可以被認為是這一場景中一個應用。機器人為了在不斷變化的三維場景中完成給定任務，不僅需要實時重建不斷變化的三維場景的幾何，還需要識別真實場景中的物體的類別和物理特性，從而預測物體的運動並決定自己的運動。同時，機器人自身也需要實時的動態模擬技術來準確地規劃和預測自己的運動，和環境中物體進行互動，從而最終完成任務。

●   三維列印 

三維列印硬體的發展使得生產複雜幾何形狀和不同幾何形狀的成本顯著下降。和傳統的減材製造不同，三維列印可以精確地控制三維形體中每個體素的材質構成，從而可以產生更為豐富的設計和功能。為了支援三維列印，圖形學技術需要將設計與物理模擬更好地結合在一起，提供一體化的端到端解決方案。透過高效的計算模擬和逆向最佳化，幫助設計師和製造者快速地設計產品的三維形狀和內部材質分佈，從而達到所需要的功能。

●   虛擬現實 

虛擬現實技術作為一類新的媒體，提供了全新的沉浸式體驗，在教育、遊戲等方面具有重要的應用。為了達到更好的虛擬現實體驗，我們不僅需要圖形學渲染技術的進步，也需要更好的物理模擬技術和互動技術，提供視覺外其他物理特性，如觸覺和聽覺的建模和實時渲染。更為根本的是，如何更加快速地生成高質量的三維虛擬內容，以及如何在虛擬環境中和不同的虛擬內容進行有效的互動，是虛擬現實應用得以成功和普及的關鍵。

●   擴增實境 

擴增實境和混合現實系統透過將虛擬三維內容疊加在真實場景中，從而實現了虛擬資訊和真實世界的融合，提高了人們在真實世界的工作效率，提供了個性化的環境和更好的生活體驗。某種程度上，可以將擴增實境理解為新一代的精確GPS定位系統。它可以提供在場景中的實時精確三維定位和實時的三維地圖構建服務。為了實現這一目標，三維場景的實時捕捉建模（包括幾何、表觀、物理特性和行為），分析和理解將成為這一應用場景背後的核心技術。

●   數字化孿生 

和擴增實境將虛擬資訊疊加在真實世界相反，數字化孿生嘗試建立真實世界在計算機中的虛擬映象，並實時地記錄預測真實世界的所有變化。結合IoT和感測器技術的發展，數字化孿生技術將提供真實環境的完整數字化，從而實現對真實世界的高效資訊分析和控制。同時，數字化孿生為將為機器學習技術提供更多的資料和訓練環境。為實現這一目標，我們需要研究更加有效的三維建模和捕捉技術，以及實時的物理模擬技術。

上文中，我們看到了未來計算機圖形學的應用場景，並討論了每個應用場景所需要的關鍵技術。這些需求也為圖形學的發展提出了一系列的研究問題與挑戰：

●   高效高質量的三維內容創作系統

雖然已有的圖形學演算法和系統可以讓藝術家創作出具有高度真實感的虛擬環境和栩栩如生的人物及其動態，這一過程仍然需要大量時間、專業技巧以及昂貴複雜的裝置。發展高效高質量的三維內容生成演算法和創作系統是圖形學研究中一個永恆的任務，也是虛擬現實、數字化孿生以及新一代的混合媒體等應用場景得以實現的關鍵技術。

為了實現這個目標，我們需要在以下三個方面的研究取得突破：一是研發新一代的捕捉硬體系統和演算法，使得普通使用者越來越容易從真實世界中快速地捕捉所需要的三維內容；二是利用三維內容屬性的本徵屬性，從使用者的少量輸入如草圖、照片、影片中構建符合使用者需求的三維內容；三是利用機器學習技術，如對抗神經網路（GAN），直接從已有的大量資料中生成新的三維內容。

●   三維世界的實時理解與分析

實時地對我們所處的三維世界進行理解，識別出場景中物體和人，推斷物體和人之間的空間關係與約束，以及人的動作，是擴增實境和機器人應用場景中的核心技術。

在計算機視覺領域，由於大量標註資料的出現和深度學習技術的發展，影像和影片的理解與分析工作取得了飛速的發展。但是三維世界的理解和分析工作仍舊處於起始階段。

一方面，三維內容由於獲取困難，可使用的標註資料少，資料噪聲大。另一方面，三維資料表達多樣、維度更高。這些特點也對三維世界的分析理解演算法的實時性、魯棒性提出了更大的挑戰。如何研發適合三維內容的通用表達和機器學習演算法，結合已有的圖片和影片資訊進行三維世界的理解和分析也是這一領域未來研究的重點。

●   大規模可擴充套件的實時模擬技術

在真實世界中，不同物體的運動和相互作用構成了世界複雜的動態。而在人類社會中，人的行為和互動則更為複雜。模擬這些複雜的動態和互動是圖形學中一個重要任務，也是三維列印、機器人、數字化孿生應用背後的重要技術支撐。現有的圖形學技術發展了一系列快速的技術來模擬環境、物體和人的運動和複雜互動。然而，這些演算法仍然存在複雜性高、計算不穩定、收斂慢的問題。尋找適用於不同場景的更為通用的模擬演算法，發展快速數值解法，將深度學習技術用來加速最佳化求解，以及利用增強學習技術進行運動的規劃都是這一領域下一階段的研究重點。

圖3：圖形學中三維資訊表達的演變。從左到右：基於物理的表達；基於觀測的表達；基於學習的本徵空間表達。

●   人機互動與圖形學的深度結合 

隨著新型感測器、穿戴裝置、VR/AR/MR裝置的迅猛發展，人們有著更多的方式與機器打交道。這些新的輸入輸出方式也為圖形學研究帶來新的挑戰。如何使用多元異構的數字輸入資訊來指導生成符合使用者期望的三維影像與世界，如何針對不同裝置設計便捷的輸入方式與互動手段，如何協同多使用者的操作並實時提供數字上和物理上的真實反饋、如何動態調整已有演算法以適配使用者的不斷更新的個性化要求等問題，都值得圖形學研究者與從業者積極探討與深入研究。

透過上述內容，我們可以很容易地看到，每個新的圖形學應用場景都不可能由單一的一個圖形學技術來解決。為此，我們不僅需要在每個研究方向上進一步努力，更需要借鑑最新的機器學習技術和計算機視覺技術，以及本領域的其它研究方向的技術和演算法，才能最終解決問題。

●   從基於物理和觀察的表達到基於學習的本徵表達

現有的圖形學可以對單個三維物件的三維屬性進行有效的表達和處理。但是對於所有的三維物件構成的三維屬性空間，例如所有特定人造物體（椅子）的三維形狀空間, 所有真實世界表面材質的空間，或一個場景中所有光照傳輸路徑的空間，我們仍然缺乏有效的研究和表達。隨著資料的增多和機器學習演算法的應用，這方面的研究慢慢成為可能。這些研究會導致三維資訊新的表達形式的出現，即基於機器學習的三維形狀、材質、行為等屬性空間的本徵表達。這一表達會與傳統的基於物理的表達與基於觀測的表達共存。這一研究將成為圖形學的一個基礎理論問題，並對我們研發高效的三維內容建模、模擬和識別理解演算法都具有極為重要的意義。基於這一全新的表達，在圖形學研究中，如何有效的結合這一全新的表達和已有的表達，如何形成不同表達間的對映與轉換，也會成為一個重要的研究問題。

在技術層，基於這一新的表達，機器學習技術將利用三維資料的本徵屬性而不是物理屬性來解決三維內容捕捉、生成、處理和模擬問題。如何將機器學習技術有效地用於高維的三維圖形資料，結合使用者的互動輸入，是目前研究的熱點。進一步將原有基於物理的方法與機器學習的方法有效結合，充分利用兩者的優勢，也是圖形學研究中一個廣受關注和需要解決的重要問題。

●   從屬性的單一表達到屬性的統一表達與融合

現有的圖形學對不同的三維屬性（形狀、表觀、動態）具有各自單獨的表達和不同的處理方法。然而，一個三維物件（如物體）的表觀、形狀和行為並不是任意組合的，屬性之間也具有一定的約束和相關性。比如，一個木製的椅子由於材質的限制，其椅腿的粗細和細節不可能是任意的。而它的表觀、重量和可能的運動特性也與木頭材質屬性緊密相關。如何得到所有三維屬性更為簡潔一致的表達是圖形學研究中的一個基礎問題。

在技術和應用層面，針對每個特定的應用和問題我們研發了可用的演算法和解決方案。然而，這些演算法或工具集是彼此孤立的。在目前的實際應用中，我們需要具有領域知識的人將這些演算法放在一起，輔以大量的人工和反覆使用，調整修改每個工具的結果，反覆迭代來達到最終的目標。舉例來說，為了設計一個像章魚爪子的軟體變形機械手，設計者可能需要先用造型軟體設計機器手外形，然後執行模擬模擬軟體計算力學特性。設計好後，再執行三維列印軟體進行製造。製造好以後，進行實際測試。由於每個模組不知道最終的目標，由此帶來的誤差需要人工反覆修改並重復這一過程。

為此，我們需要將不同的技術方案，如幾何設計、模擬模擬、三維列印等有機地整合到一起，將每一步的約束引入到其他演算法中，並允許所有的演算法在統一的逆向最佳化反饋框架下進行自動迭代，快速地生成滿足設計要求的結果。在最近幾年，越來越多的研究嘗試將不同的技術融合在一起，形成一個端到端的解決方案，這也成為了圖形學研究的一個趨勢。

●   從基礎工具集到智慧系統的演進

圖形學技術的一個重要目標是將使用者的抽象設計意圖變成具體的三維物件。設計的最終目的是滿足一定的物理功能或故事情節的視覺展現。在功能和情節的約束下，最終得到美觀、成本合理的物理設計和視覺作品。目前，針對每個環節，已有的圖形學技術實現了基本的工具，可以幫助使用者完成形狀、表觀、動態等底層三維屬性特性的生成、編輯，以及物理特性的模擬。然而，由於圖形學的屬性和物件表達缺乏對物理功能和語義的有效描述，使得現有的圖形學技術工具集無法幫助使用者有效的將高層抽象的功能和情節描述轉化為具體的三維屬性和表達。隨著機器學習的引入，圖形學技術的整合和表達的融合，圖形學研究將慢慢從三維資訊的基礎設計和表達工具向高層語義的目標進發，最終實現從使用者的高層語義描述自動生成三維內容的最終目標。

放眼未來，隨著計算機圖形學的進一步發展，計算機輔助設計和製造技術的進步，帶有感測器的三維列印的個性化產品和機器人將被廣泛應用於人類的實際生活和現實世界中。而真實環境的資料化孿生也將在計算機中實時地監控著真實環境的動態變化，規劃協調機器人高效地完成不同任務。而在虛擬世界中，隨著內容創作工具的進步，每個人的藝術天分都可以得到充分發揮，從而自由地建立自己的虛擬世界、遊戲和虛擬化身。隨著下一代的虛擬現實裝置和擴增實境裝置的出現，真實和虛擬的世界會得到更好的融合，新一代的人類將不需要再區分真實世界和虛擬世界。人、計算機（機器人和虛擬世界）和真實的物理世界將和諧高效地融合在一起，帶給人類一個超現實的世界。