解密“數字藏經洞”:騰訊遊戲CROS把敦煌遺址搬進手機
導語:當現實中的建築搬到手機裡,總會讓人好奇這是怎樣做到的?尤其是在進行歷史文物及遺蹟復刻時,更會對數字資產的還原精度和製作效率提出了更高的要求。
近日,由國家文物局指導、敦煌研究院與騰訊公司聯合打造的“數字藏經洞”正式上線,成為全球首個運用遊戲科技打造的新一代“超時空參與式博物館”。
“數字藏經洞”透過數字照掃、三維建模技術,首次在數字世界還原了1600m莫高窟外崖面原貌,並且以毫米級1:1高精度復刻了莫高窟“三層樓”和第16、17窟(藏經洞),讓窟內壁畫、塑像和文物細節無限接近真實場景效果,打造出身臨其境的超擬真體驗
但不為人所知的是,在達成這一令人驚歎的效果背後,負責把數字藏經洞搬進手機裡的技術團隊“騰訊遊戲CROS”,卻同時面臨實地取景困難,掃描資產質量要求極高等多重挑戰,而製作團隊如何在短時間內高效化解這些挑戰,就成了影響專案能否順利推進的關鍵。
從照片到模型,還有更高效的拍攝手法
如何讓歷史遺蹟栩栩如生的動態展現在螢幕之上?這就需要經歷了從照片到模型的製作流程——Photogrammertry。即透過照片矩陣,鐳射資料等方式計算空間點雲,進而構建三維模型。
相比於傳統美術流程,Photogrammertry流程的掃描物件依賴於所拍攝的真實物件,是一種透過照片來測量和製作三維模型的技術,利用相機拍攝物體多個角度的照片,藉助計算機演算法分析,測量出物體不同部分的位置、大小和形狀,從而建立一個精確的三維模型。雖然在美術創造性上有一定侷限性,但擁有出色的寫實度和較低的製作門檻,憑藉極高的效率就能創作出高精度的數字資產,是傳統美術流程所不具備的特性。
所以,Photogrammertry適用於寫實、高精度、影視級數字資產的快速準確製作。在影視特效、3A遊戲場景、數字資產庫、城市生成、工業測繪以及文物數字還原為側重點的數字文化專案上,都有廣泛應用。
不過,雖然Photogrammertry的應用在業界並不罕見,但騰訊遊戲CROS團隊在推進敦煌專案時,卻不得不拿出一些新方法適應實際情況。
其中,拍攝時間問題是製作團隊在拍攝照片之前就遇到的首要挑戰。受限於專案進行時場地、天氣等因素影響,敦煌專案的實地拍攝時間僅有三天時間,並且在排除白天光線干擾及不影響遊客遊覽的情況下,合適的取景時間只分布在每天早上6:30-8:30和晚上18:00-23:00。
這迫使製作團隊不得不的快速調整拍攝方案規劃策略,即分高、中、低三檔不同精度對敦煌實景進行拍攝,其中室內場景最為精細,而室外場景由近及遠,依次降低,在有限的時間內綜合效率,以滿足專案需求。
此外,諸如還原場景中物體空間關係等元素,如何最佳化拍攝方案做到對敦煌細節的精準呈現,同樣是還原敦煌遺址重點關注的部分。
以拍攝敦煌藏經洞三層樓的左右300米場景為例,每間隔一米距離就需要對崖壁進行一次由下往上、連續6張的垂直掃描拍攝,然後經左右斜45度對包括欄杆內外側及三層崖壁的場景進行掃描。為了達到儘可能達到最佳的拍攝效果,製作人員在300米的拍攝距離內來回走了不下數十次,拍攝了超過1.3萬張8K照片。
並且,不只是拍攝人員走了數十個來回,為了保證完整的掃描角度,製作團隊還使用無人機對崖壁及三層樓的高空視角進行照片與影片採集。考慮到照掃照片要求拍攝物體儘量無強烈光影,而場景當地卻又受到光照變化及周圍植被陰影遮蓋等影響,製作團隊制定了早晨拍攝崖壁頂部,傍晚拍攝崖壁立面的規劃。這又導致實際可利用的拍攝時間被大大縮短,對拍攝效率提出了極大考驗。
對於三層樓主體,製作團隊在原先牆體拍攝方式的基礎上近一步提高了拍攝密度,把每一面牆、每一根柱子和房梁進行拆分,使用近景甚至是特寫鏡頭進行70%重複率的採集,再次獲得了萬張級別的照片量資料。
與此同時,製作團隊與敦煌研究院的數字拍攝團隊深入交流,溝通照掃心得,從他們多年的敦煌掃描工作中也得到了諸多寶貴經驗,並且,除了感嘆敦煌工作者的寶貴初心,研究院更是提供了17窟甬道室內掃描模型資料及高畫質貼圖,極大幫助了數字資產的製作。
色卡使用:有效最佳化海量資料處理效率
完成了照片拍攝後,在應用美術製作之前,敦煌專案還經歷了為時一個月時間用於掃描資產的製作。
高精度的照片拍攝確實為掃描資產提供了優質的土壤,但還少不了校準環節來進一步最佳化掃描資產的質量,畢竟,高質量的掃描資產能有效減少美術後期的修復成本,更直接決定了專案最終能達到的效果水平。
面對30000+照片,2h影片2h,超過1.8TB規模的資料處理總量,色卡在掃描資產的校準過程中起到了關鍵作用。從簡單的照片記錄開始,便用色卡生成色彩配置,每張RAW照片經過色卡的白平衡調整、曝光調整、色階調整,直到輸出JPG檔案至分類的資料夾中,用於三維重建。
除此之外,正因為每當開啟新一輪拍攝時,都需先拍色卡,讓色卡也不止有校色的功能,還能像電影場記板一樣,由一張色卡牽引一系列照片,經過重重步驟,最後將所有照片按命名歸類到資料夾中,大大最佳化了海量資料處理的效率。
LookDev流程:對保證資產最終質量起到決定性作用
更值得一提的是,為滿足數字文化專案本身高質量、高還原度的多重屬性,在敦煌專案中還加入LookDev標準化方案,與數字掃描Photogrammertry相結合進一步提升掃描資產的準確性,是騰訊遊戲CROS在專案研發程式中的一個創新點。
PBR(Physicallly Based Rendering)是主流的寫實渲染技術,由鏡頭,材質,光照配合完成。其中,PBR材質定義了物體外觀及物理屬性,透過不同的貼圖及引數控制,為渲染器提供光照演算法資訊。LookDev流程為PBR材質校準提供了標準化的場景。主要包括前期拍攝燈光環境、中期HDR及參照照片合成,後期燈光匹配和材質調整等。
其中,拍攝環境捕捉素材中的的HDR照片用於提供環境光照明;鉻球照片用於光源定位;灰球照片用於確定光源亮度;參照照片則用於進行材質校準。這一流程歷經現場環境燈光采集、在引擎中還原環境、調配模型資產三個過程,最終實現相當於把資產放在真實環境中做標準的效果。
結語
在此次“數字藏經洞”專案中,騰訊遊戲CROS除了著眼Photogrammertry流程,在高精度掃描資產製作層面的技術革新,還將雲遊戲、PBR、PCG、動作捕捉等多項遊戲技術融入文物數字化的程式中,最終實現毫米級精度1:1還原,雲遊敦煌遺址。
並且,對騰訊遊戲CROS團隊而言,堅持鑽研創新技術的價值,源於對歷史和文物的尊重以及敬畏之心,而用嚴謹工作方式產出高質量專案成果,也正是對數字文化專案正向價值傳承的一種極好體現。
近日,由國家文物局指導、敦煌研究院與騰訊公司聯合打造的“數字藏經洞”正式上線,成為全球首個運用遊戲科技打造的新一代“超時空參與式博物館”。
“數字藏經洞”透過數字照掃、三維建模技術,首次在數字世界還原了1600m莫高窟外崖面原貌,並且以毫米級1:1高精度復刻了莫高窟“三層樓”和第16、17窟(藏經洞),讓窟內壁畫、塑像和文物細節無限接近真實場景效果,打造出身臨其境的超擬真體驗
但不為人所知的是,在達成這一令人驚歎的效果背後,負責把數字藏經洞搬進手機裡的技術團隊“騰訊遊戲CROS”,卻同時面臨實地取景困難,掃描資產質量要求極高等多重挑戰,而製作團隊如何在短時間內高效化解這些挑戰,就成了影響專案能否順利推進的關鍵。
(數字藏經洞演示影片)
從照片到模型,還有更高效的拍攝手法
如何讓歷史遺蹟栩栩如生的動態展現在螢幕之上?這就需要經歷了從照片到模型的製作流程——Photogrammertry。即透過照片矩陣,鐳射資料等方式計算空間點雲,進而構建三維模型。
相比於傳統美術流程,Photogrammertry流程的掃描物件依賴於所拍攝的真實物件,是一種透過照片來測量和製作三維模型的技術,利用相機拍攝物體多個角度的照片,藉助計算機演算法分析,測量出物體不同部分的位置、大小和形狀,從而建立一個精確的三維模型。雖然在美術創造性上有一定侷限性,但擁有出色的寫實度和較低的製作門檻,憑藉極高的效率就能創作出高精度的數字資產,是傳統美術流程所不具備的特性。
(Photogrammertry流程與傳統美術流程對比示意)
所以,Photogrammertry適用於寫實、高精度、影視級數字資產的快速準確製作。在影視特效、3A遊戲場景、數字資產庫、城市生成、工業測繪以及文物數字還原為側重點的數字文化專案上,都有廣泛應用。
不過,雖然Photogrammertry的應用在業界並不罕見,但騰訊遊戲CROS團隊在推進敦煌專案時,卻不得不拿出一些新方法適應實際情況。
其中,拍攝時間問題是製作團隊在拍攝照片之前就遇到的首要挑戰。受限於專案進行時場地、天氣等因素影響,敦煌專案的實地拍攝時間僅有三天時間,並且在排除白天光線干擾及不影響遊客遊覽的情況下,合適的取景時間只分布在每天早上6:30-8:30和晚上18:00-23:00。
這迫使製作團隊不得不的快速調整拍攝方案規劃策略,即分高、中、低三檔不同精度對敦煌實景進行拍攝,其中室內場景最為精細,而室外場景由近及遠,依次降低,在有限的時間內綜合效率,以滿足專案需求。
此外,諸如還原場景中物體空間關係等元素,如何最佳化拍攝方案做到對敦煌細節的精準呈現,同樣是還原敦煌遺址重點關注的部分。
以拍攝敦煌藏經洞三層樓的左右300米場景為例,每間隔一米距離就需要對崖壁進行一次由下往上、連續6張的垂直掃描拍攝,然後經左右斜45度對包括欄杆內外側及三層崖壁的場景進行掃描。為了達到儘可能達到最佳的拍攝效果,製作人員在300米的拍攝距離內來回走了不下數十次,拍攝了超過1.3萬張8K照片。
(敦煌專案成果展示-室外)
並且,不只是拍攝人員走了數十個來回,為了保證完整的掃描角度,製作團隊還使用無人機對崖壁及三層樓的高空視角進行照片與影片採集。考慮到照掃照片要求拍攝物體儘量無強烈光影,而場景當地卻又受到光照變化及周圍植被陰影遮蓋等影響,製作團隊制定了早晨拍攝崖壁頂部,傍晚拍攝崖壁立面的規劃。這又導致實際可利用的拍攝時間被大大縮短,對拍攝效率提出了極大考驗。
對於三層樓主體,製作團隊在原先牆體拍攝方式的基礎上近一步提高了拍攝密度,把每一面牆、每一根柱子和房梁進行拆分,使用近景甚至是特寫鏡頭進行70%重複率的採集,再次獲得了萬張級別的照片量資料。
與此同時,製作團隊與敦煌研究院的數字拍攝團隊深入交流,溝通照掃心得,從他們多年的敦煌掃描工作中也得到了諸多寶貴經驗,並且,除了感嘆敦煌工作者的寶貴初心,研究院更是提供了17窟甬道室內掃描模型資料及高畫質貼圖,極大幫助了數字資產的製作。
色卡使用:有效最佳化海量資料處理效率
完成了照片拍攝後,在應用美術製作之前,敦煌專案還經歷了為時一個月時間用於掃描資產的製作。
高精度的照片拍攝確實為掃描資產提供了優質的土壤,但還少不了校準環節來進一步最佳化掃描資產的質量,畢竟,高質量的掃描資產能有效減少美術後期的修復成本,更直接決定了專案最終能達到的效果水平。
面對30000+照片,2h影片2h,超過1.8TB規模的資料處理總量,色卡在掃描資產的校準過程中起到了關鍵作用。從簡單的照片記錄開始,便用色卡生成色彩配置,每張RAW照片經過色卡的白平衡調整、曝光調整、色階調整,直到輸出JPG檔案至分類的資料夾中,用於三維重建。
除此之外,正因為每當開啟新一輪拍攝時,都需先拍色卡,讓色卡也不止有校色的功能,還能像電影場記板一樣,由一張色卡牽引一系列照片,經過重重步驟,最後將所有照片按命名歸類到資料夾中,大大最佳化了海量資料處理的效率。
LookDev流程:對保證資產最終質量起到決定性作用
更值得一提的是,為滿足數字文化專案本身高質量、高還原度的多重屬性,在敦煌專案中還加入LookDev標準化方案,與數字掃描Photogrammertry相結合進一步提升掃描資產的準確性,是騰訊遊戲CROS在專案研發程式中的一個創新點。
PBR(Physicallly Based Rendering)是主流的寫實渲染技術,由鏡頭,材質,光照配合完成。其中,PBR材質定義了物體外觀及物理屬性,透過不同的貼圖及引數控制,為渲染器提供光照演算法資訊。LookDev流程為PBR材質校準提供了標準化的場景。主要包括前期拍攝燈光環境、中期HDR及參照照片合成,後期燈光匹配和材質調整等。
(LookDev拍攝示意)
其中,拍攝環境捕捉素材中的的HDR照片用於提供環境光照明;鉻球照片用於光源定位;灰球照片用於確定光源亮度;參照照片則用於進行材質校準。這一流程歷經現場環境燈光采集、在引擎中還原環境、調配模型資產三個過程,最終實現相當於把資產放在真實環境中做標準的效果。
結語
在此次“數字藏經洞”專案中,騰訊遊戲CROS除了著眼Photogrammertry流程,在高精度掃描資產製作層面的技術革新,還將雲遊戲、PBR、PCG、動作捕捉等多項遊戲技術融入文物數字化的程式中,最終實現毫米級精度1:1還原,雲遊敦煌遺址。
(雲遊敦煌動畫)
並且,對騰訊遊戲CROS團隊而言,堅持鑽研創新技術的價值,源於對歷史和文物的尊重以及敬畏之心,而用嚴謹工作方式產出高質量專案成果,也正是對數字文化專案正向價值傳承的一種極好體現。
相關文章
- “數字藏經洞”釋出,遊戲科技打造首個“超時空參與式博物館”遊戲
- 把智慧數字經營3.0作為決定未來勝負手!
- 日媒:3大遊戲主機廠商計劃把生產業務搬離中國遊戲產業
- 數字遺產價值量在增大 網路“數字遺產”如何繼承?繼承
- 機房搬遷工作已經完成
- 效能超神進化 騰訊ROG遊戲手機7系列新品正式釋出遊戲
- 復得與失去:把電腦上的遊戲裝進手機這些年遊戲
- 騰訊遊戲深度定製,騰訊黑鯊遊戲手機3系新品正式亮相遊戲
- 騰訊先鋒雲遊戲總經理荊彥青:雲遊戲共創超級數字生態遊戲
- 牛客網測試題 把十六進位制數字轉換為十進位制數字
- 填數字遊戲解題機遊戲
- 人工智慧計算中心,助力數字經濟發展的算力“蟲洞”人工智慧
- 如何促進數字經濟創造就業就業
- StarRocks攜手零洞科技,助力碧桂園物業企業微信數字化專案
- 使用神經網路識別手寫數字神經網路
- 2022騰訊高校遊戲創意製作大賽圓滿落幕,高校學子探索數字化非遺傳承遊戲
- 黑鯊同騰訊共同推出的騰訊黑鯊遊戲手機3,遊戲實際表現如何?遊戲
- 深入理解加密、解密、數字簽名和數字證書加密解密
- 數藏系統開發數字藏品APPAPP
- JSON實戰拾遺之數字精度JSON
- 數字遊戲遊戲
- AI BP神經網路判斷手寫數字AI神經網路
- 騰訊廣告&智來時代:2012新職業教育機構數字化經營模型模型
- 升而不同,全球首款5G遊戲手機——騰訊黑鯊遊戲手機3系重磅釋出遊戲
- 經歷過波黑戰爭的他們,把這個悲慘經歷做進了遊戲遊戲
- 騰訊遊戲深度定製 ROG遊戲手機3天生高能釋放遊戲
- 什麼是智慧數字經營 養豬 山海經 數字經營
- 安全基礎:數字信封、數字簽名、數字證書(加簽驗籤,加密解密)加密解密
- ROG玩家國度“超神進化”線上釋出會推出騰訊ROG遊戲手機7系列新品遊戲
- MD5手機號線上解密 MD5解密解密
- 手機小技巧:小米手機怎麼隱藏應用?
- 智慧數字經營現狀如何?機會在哪?
- 黑五經濟!數字遊戲創收43.6億美元遊戲
- 騰訊遊戲用“代工”進軍海外遊戲
- 數字版遊戲,終於能賣二手了?遊戲
- 騰訊投資遊戲公司一覽:拳頭100% Epic 40% 藍洞11.5%遊戲
- Android 隱藏手機鍵盤Android
- JavaScript 寫遊戲 : 搬吖JavaScript遊戲