遊戲畫面距離電影還有多遠？

今天，遊戲畫面已經進化到了一個非常高的水平。當年玩家們總在期盼的“CG級畫面”早就成了現實。每當我向不熟悉遊戲的朋友介紹現在的主機和PC大作時，他們都會驚呼“這畫面太真實了”。

但是資深玩家又都應該有體會，遊戲畫面又似乎遇到了一個無法跨越的瓶頸。不管畫面多出色的遊戲，還是一眼就能分辨出一些充滿“遊戲感”的特徵。

相比之下， CG動畫倒是先實現了突破，在光影表現上，已經完全可以做到以假亂真，彷彿真正的實拍電影一樣。


這是怎麼做到的呢？


《玩具總動員4》裡有這樣一個片段：主角之一的“叉叉”被反派“蓋比”欺騙，將芭比當成了朋友，並對芭比無話不談。可是當叉叉詢問芭比到底什麼時候自己才會被接走的時候，芭比卻對他敷衍了事。

在這個片段當中，畫面上出現了一個非常奇特的現象：蓋比身後的背景變得虛化模糊了，可是到了叉叉邊上，一切又變得清晰了起來。整個畫面裡，出現了兩個焦點。


在不少實拍電影當中，都能看到類似的效果。像是在史蒂芬·斯皮爾伯格的《大白鯊》裡面，這個效果的特徵特尤其明顯。前景裡的人物頭髮都已經虛化了，而背景中落水的角色依然清晰可見。


在現實的電影拍攝中，這種畫面使用的是一種叫做“裂焦濾鏡”的特殊道具。由於物理上的限制，攝影機的鏡頭在同一時間裡只能清晰地“看”到某個特定距離的畫面，比這個畫面更近或者更遠的景象，都會變得模糊。

裂焦濾鏡從中間一分為二，兩邊是不同的透鏡。放在鏡頭前面，就彷彿同時有兩個攝像機鏡頭，一個在看著近處，一個在看著遠處。這樣，原本相隔很長一段距離，不能同時對上焦的兩個場景，在裂焦濾鏡的幫助下，就可以同時清晰地出現在同一個畫面當中了。


可是，《玩具總動員4》是一部CG動畫電影，沒有那麼多現實中的限制，讓所有畫面中的角色都清晰地處於焦內，並不是什麼難事。反而是模擬出多重景深的效果，要費上不小的功夫。為什麼製作團隊要費這麼多工夫呢？

因為在單純的“看清楚”之外，裂焦濾鏡畫面其實還有另一個非常重要的功能。

大部分人在看到《玩具總動員4》裡蓋比和叉叉的鏡頭的時候，可能都不會意識到背後使用的是什麼技術，但是肯定能感覺到這種畫面裡，存在一種非常微妙的不協調感。

於此同時，電影的劇情也正處於一個充滿了張力和對抗的節點。在遠處的叉叉似乎意識到情況有些不對勁，而近處的芭比看似在和他對話，但是心思卻並不完全在他身上。畫面中的不協調感和劇情相結合，讓這一段顯得尤其令人緊張和焦躁。


裂焦濾鏡所帶來的這種特殊的表現效果，已經超越了這項技術最初的用意，而成為了一種新的藝術表達語言，潛移默化影響觀眾的觀感。因此，在特效合成技術非常成熟的現在，依然可以在諸如《神探夏洛克》這樣的影片中見到這種古老的技法。


同時注意左上角的光斑獨特的形狀，這是庫克（Cooke）鏡頭的特徵，觀眾雖然不會注意到這樣的細節，但是會感覺到“這部片有某些經典電影的味道”

在130 多年的歷史上，電影導演和攝像師在畫面表現上，積累了許多獨特的方法和經驗，形成了一座豐富的，提升畫面表現力的寶庫。因此，當CG動畫電影在畫面表現力上遇到瓶頸的時候，轉而學習這些細節技巧，也變得順理成章。

CG動畫向來是遊戲畫面的先行者和風向標。那麼，遊戲開發者是不是也可以直從這座寶庫裡偷師，提升遊戲畫面的表現力呢？


這事沒有看上去那麼簡單。

遊戲為了提高渲染速度所依賴的光柵化渲染，實現視覺效果的原理和動畫電影完全不同。許多跟光學相關的技巧，在CG動畫中應用起來相對會簡單一些，但是用在遊戲裡，成本就會變得非常高昂。

以最基礎的鏡頭為例：許多對攝影攝像感興趣的人，都應該多少有所耳聞，每一個型號的鏡頭，都有自己獨特的光學特性和成像特點。

一些早年的老鏡頭，比如俄羅斯產的“太陽神44-2”和奧地利的“匹茲瓦”，焦外虛化的部分會發生旋轉，營造出一種迷離而又夢幻的感覺。


現實中鏡頭的光學特性，是成像過程中的一部分。光線經過鏡片的反射與折射，最終抵達攝像機的感測器。這意味著，想要完美還原現實中鏡頭的特徵和缺陷，最好的方法，是通過光線追蹤演算法來進行模擬。


迪士尼和皮克斯有一整個團隊，專門研究CG動畫中攝像機的表現力，而模擬經典鏡頭就是他們一個重要的課題。在《玩具總動員4》《頭腦特攻隊》和最近的《心靈奇旅》中，都可以看到這種模擬鏡頭所帶來的魅力。


有一些鏡頭相對比較好模擬的光學特性，比如炫光（flare）和高光（bloom），甚至景深虛化，在遊戲當中其實都存在。但是這一切通常都是在光柵化渲染完成以後，以“後處理（Post Processing）”的形式打補丁，類似在視訊軟體裡，給已經拍攝好的素材新增特效。

炫光可能就是根據光線可能的角度算好位置放一個高亮的貼圖，而景深往往是根據物體距離主角的遠近，新增不同程度的高斯模糊——這和真正的，基於光線計算的“鏡頭虛化”完全是兩碼事。

由於在很長一段時間裡，實時光線追蹤渲染對於遊戲開發者來說都可望而不可即，基於光柵化渲染所設計的景深、炫光等特效，很多時候只能解決“有沒有”的問題，經不起仔細的推敲。一旦處理不好，可能還會給畫面帶來反效果。更復雜精細的鏡頭特性，也就無從談起。



另外一個在電影和CG動畫當中時常能見到，但是在遊戲中比較難做好的效果，是薄霧和體積光。

在這就還得提一下1982年的《銀翼殺手》。這部電影總要被拿來說事，因為它確實是電影畫面表現的一個太經典的案例了。在《銀翼殺手》出現之前，沒有電影在畫面上能有這樣的質感。而在《銀翼殺手》上映以後，所有的科幻片，多少都帶一點它的影子。


《銀翼殺手》畫面的最核心，就是對丁達爾效應登峰造極的運用。所謂丁達爾效應，其實是這麼回事：在起霧的大氣中，佈滿了微塵和水珠。如果有光線從霧中穿過，就會照亮這些微塵和水珠，形成類似“聖光”的光線通路。


但是《銀翼殺手》獨樹一幟的，不只是光，更多的是由光照所造成的陰影。陰影的部分會形成通常在畫面設計中會被叫做“負空間”。這部分負空間，也存在畫面張力，有時甚至比正空間更有力量，但是又往往會被忽視。


在《銀翼殺手》中，導演萊德利·斯科特有意識將負空間作為畫面語言的重要部分。以下面這個鏡頭為例，畫面中人物、桌面和電扇的暗面，加上他們的陰影，整體構成了一個足夠有分量的負空間。這個負空間和丁達爾光構成的亮面構成了鮮明的對比。同時，佈滿房間的霧氣又弱化了這種對比，讓畫面顯得特別朦朧夢幻，讓觀眾可以直接感受到人物的迷惘和悵然。


這種畫面在遊戲中也很難運用。原因很簡單：傳統的光柵化渲染，對帶有一定面積和形狀的光源的投影特別頭疼，只能是簡單粗暴地當作點光源來處理，或者要預先烘焙好陰影貼圖。前者投影的感覺總會差點意思，後者則只適合相對靜態的場景，一動起來就要穿幫。

為了不讓陰影面一面漆黑，還需要再背後新增補充光源，增加AO貼圖的細節。再考慮到薄霧帶來的散射和光線衰減，想要再光柵渲染裡用《銀翼殺手》的方式在正負空間上做文章，實在是難上加難。所以遊戲中的體積光不少見，但是有《銀翼殺手》那種感覺的就要少見得多。



在兩年前，NVIDIA上市RTX 20系列顯示卡，首次為實時光線追蹤遊戲提供可用的硬體支援，之後新一代的RTX 30系列顯示卡，又將光線追蹤的效能提升了一個臺階。在這些新技術硬體的輔助下，一些原本在光柵化渲染中無法應用，或者成本高昂的效果，也可以逐漸在遊戲中見到。

這種變化在最簡單的遊戲裡看得最直觀。像是去年上市的RTX版《我的世界》，只需要日光的折射和反射，就能把山洞塑造得無比真實。普通玩家，也可以按照自己的方式去塑造光影的感覺。而在傳統光柵渲染的遊戲裡，做出這種感覺，需要專業的場景設計師花費大量的時間和精力，而且很可能換個觀看的角度就穿幫了。


在下面這個場景裡，如果想在光柵渲染中讓屋內的光線隨著日光變化，並且投射正確的陰影，通常需要一整套預渲染的全域性光照貼圖和陰影貼圖。而在光線追蹤的輔助下，這個步驟直接就省略了。


當然，開啟這樣的效果對顯示卡有一些要求。我們內部測試機目前使用的是兩款華碩顯示卡，一個是TUF-RTX3080-O10G-GAMING顯示卡，擁有8704個流處理器，搭載了10GB GDDR6X視訊記憶體，核心頻率1785MHz—1815MHz。在全金屬外殼、三個軸流風扇以的設計下散熱穩定。基本上，大部分支援光線追蹤和DLSS的遊戲，使用這款顯示卡都能獲得最好的畫面表現。

而另一款是ROG-STRIX-RTX3090-O24G-GAMING，搭載了24GB超大視訊記憶體，效能比RTX 3080更加強悍，具備在8K解析度下執行遊戲的能力。我們即將有一個關於這款顯示卡的視訊播出，也歡迎感興趣的小夥伴們關注。


《賽博朋克2077》作為近期最重頭的一部作品，也是光線追蹤的應用非常的一個例子。我們前一陣曾經發過一篇文章，研究了這款遊戲在開啟/關閉光線追蹤之後畫面表現上的差距和區別。簡單來說，這款遊戲在開發的時候就設計好用光線追蹤效果來提升遊戲的畫面氛圍。


在最高特效，開啟光線追蹤的情況下，那種氛圍感，確實“有那味了”。雖然光線追蹤是一項非常消耗效能的選項，但是得益於NVIDIA DLSS等新技術的輔助，遊戲的幀數損耗是完全可以接受的。

我們測試的華碩TUF-RTX3080-O10G-GAMING，在開啟了DLSS深度學習抗鋸齒輔助之後，通過深度學習AI“腦補”出的光線追蹤畫面，清晰度和細節表現甚至會媲美或超過原生抗鋸齒畫質，效能也有了很大提升，2K解析度下稍作調整，就能達到流暢穩定的60幀。


單獨拆開來看，開啟光線追蹤所帶來的提升有時不能一眼就能看出來。但是在一款開放世界遊戲裡面綜合起來，確實是兩種完全不同的體驗。像是霓虹燈、水面反射、人物陰影這些效果，開啟光線追蹤之後，非常自然地和環境融合，玩家甚至注意不到它們的存在。但是一旦關閉光線追蹤，就會發現原來這些效果可以這樣突兀，甚至到了破壞遊戲沉浸感的程度。


不難想象，這只是一個開始。當遊戲行業對實時光線追蹤渲染的開發逐漸步入正軌，遊戲也終於能像CG動畫一樣，從電影表現手法的寶庫中取經。大的遊戲團隊可以利用光線追蹤提高工作效率， 而小的獨立開發者也可以實現過去負擔不起的畫面表現。

像前面提到的，在光線追蹤版《我的世界》裡，沒有任何建模渲染經驗的普通玩家也可以做出比肩職業設計師的場景。而像是去年非常優秀的獨立遊戲《Teardown》中，開發者用光線追蹤演算法實現了各種動態光效、軟陰影和體積霧。如果沒有光線追蹤的輔助，開發類似的場景需要大量的預烘焙貼圖，還要進行復雜的除錯，《Teardown》的開發者就很難負擔了。


如果有一天，光線追蹤的各種效果，像PBR材質一樣形成固定的工業流程和正規化，遊戲的畫面細節，也一定會達到一個新的高度。開發者如果想要實現某個電影裡的氣氛，只需要調好鏡頭，設定好光源和體積霧，就能可靠地模擬出電影裡的效果。

那時，我們距離真正的“電影級畫面”的普及，就不遠了。


作者：青春喜相逢
來源：遊研社
地址：https://www.yystv.cn/p/7557