此前，在一場直播活動中，英偉達 CEO 黃仁勳宣佈推出 DLSS 3。DLSS 全名為 Deep Learning Super Sampling，它是英偉達釋出的深度學習超級取樣技術，其擁有開創性的光學多幀生成功能，其為遊戲提供了不可或缺的三要素：提高幀率、最大限度地提升響應速度和改善影像質量。
在一系列遊戲和引擎中，與傳統渲染相比，DLSS 3 有助於將 GeForce RTX 40 系列的效能翻倍提高：
與此同時，英偉達副總裁 Bryan Catanzaro 也曾在 Twitter 上宣稱：「神經渲染在 Ada 架構的 DLSS 3.0 加持下邁出了非常重要的一步！除了 DL 驅動的超解析度，它還使用光流、運動向量和 DL 來生成整個幀。DLSS 3 渲染的 8 個畫素中有 7 個是來自神經渲染的。」這足以將渲染速度提高 5 倍。
儘管這項了不起的技術目前僅限用於幾十款 3D 遊戲，但神經渲染很快就會帶來收益。這項技術將釋放日常消費電子產品的新潛力。
在多數情況下，DLSS 3 在 4K 解析度下比傳統渲染技術效能提高兩到三倍。雖然英偉達目前處於領先地位，但它也有競爭對手，比如英特爾 AI 驅動的高階軟體 XeSS (Xe Super Sampling)，以及 AMD 的 RDNA 3 圖形架構。
遊戲引領了神經渲染的浪潮，因為它們非常適合使用機器學習技術。谷歌高階研究員 Jon Barron 表示：「只看影像的小 patch，試圖猜出影像缺失了什麼，這非常適合機器來學習。機器善於識別幀之間的相似性，包括那些幀率高到足以掩蓋運動中的微小錯誤。」
不過 DLSS 3 也存在不完美的地方，其在場景轉換方面存在缺陷。但是 Barron 和 Catanzaro 認為在神經渲染模型中透過新增訓練資料可以彌補這一缺陷。
英特爾圖形研究副總裁 Anton Kaplanyan 認為，未來神經渲染技術會讓 3D 內容創作變得更加觸手可及。不難看出，現在的社交網路已經逐漸商品化了，人們只需點選一個按鈕，拍一張照片，就可與親朋好友分享。如果我們想把這種體驗提升到 3D，我們就需要吸引那些不懂專業工具的人成為內容創造者。
2023 年，3D 神經渲染的改進速度關乎其未來的發展。但與傳統渲染相比，研究者缺少更多的經驗。Barron 指出：「計算機圖形學很神奇，它的工作效果非常好，我們有很多方法來解決問題，而這些方法可能永遠適用。」
接下來的問題是，圖形行業會在何時接受 3D 神經渲染作為一種替代方案。這種過渡可能是令人擔憂的，因為押注錯誤技術或錯誤架構的代價可不小。
儘管如此，Catanzaro 相信 3D 神經渲染已經勢不可擋。他說：「我們將會看到許多更加不同凡響的神經渲染技術。這些技術有的能夠做陰影、折射和反射，將來我們會考慮那些比 DLSS 更強的神經渲染方法，我認為未來的圖形領域將會是多種方法並行的。」
神經渲染最大的好處是效率
神經渲染的魅力不僅在於它潛在的效能，還在於它潛在的效率。DLSS 3 透過 RTX 在 Portal 遊戲中提供的 530% 增益可以提高幀速率——或者透過將幀速率限制在一個目標內來降低功耗。如此一來，DLSS 3 可以減少呈現每一幀的成本。
英偉達 DLSS 3
這可不容小覷，因為消費電子領域面臨著一個重要問題，即摩爾定律大勢已去，就算沒有，也只是苟延殘喘罷了。Catanzaro 說道：「正如你所知道的，摩爾定律已經失去了勢頭，我個人認為後摩爾影像就是神經影像。對於英偉達來說，神經渲染已然成為一種具有代表性的方法，它不需要成倍增加電晶體數量就可以為公司帶來巨大收益。」
然而，英特爾的 Kaplanyan 並不認為摩爾定律會消亡，但他也贊同神經渲染可以提高效率。他說：「晶片的大小可以解決，我同意我們有著大好的機會，可以透過機器學習演算法，更有效地利用這種能量和這一領域，產生新的視覺效果。」
AMD、英偉達和英特爾這三家公司都與裝置製造商合作，來設計新的消費膝上型電腦和平板電腦，於是效率便成為了三家公司的必爭之地。對於裝置製造商來說，效率提高帶來了更薄、更輕、電池續航時間更長的裝置，同時也提升了使用者使用裝置的功能。
顯然，2023 年將是消費裝置中神經渲染的奠基年。支援 DLSS 3 的英偉達 RTX 40 系列將推出多種臺式電腦和膝上型電腦；英特爾預計將擴充套件其 Arc 圖形線與即將到來的 Battlemage 架構；AMD 將推出更多使用 RDNA 3 架構的變體產品。
這些產品的釋出為圖形革命奠定了基礎。當然，這不是一蹴而就的，需要花些功夫——但隨著消費者對視覺效果和內容創造的要求越來越高，透過更小、更薄的創新，神經渲染可能是最好的交付方式。
原文連結：https://spectrum.ieee.org/ai-graphics-neural-rendering