FBEC2023 | 普羅米修斯CEO張煜：數字生命——大模型可驅動的體積影片

FBEC2023未來商業生態連結大會暨第八屆金陀螺獎於2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開，本次大會由廣東省遊戲產業協會、深圳市網際網路文化市場協會指導，陀螺科技主辦，中國光谷、遊戲陀螺、VR陀螺、陀螺財經、陀螺電競聯合主辦。

大會以“合力共生·韌者行遠”為大會主題，以具有行業前瞻洞察的“航行者”為視角，破冰之旅為主線，關注AI、元宇宙、XR、遊戲、電競、數字經濟等科技與網際網路前沿領域，全方位呈現科技前沿成果，聚焦時代與商業熱點議題，探討新科技、新商業、新模式的未來價值，與真正的勇者共赴劇變革新下的凜冬破冰之旅！

FBEC2023分會場A：全球3D技術應用論壇邀請到普羅米修斯視覺CEO張煜帶來主題為“數字生命——大模型可驅動的體積影片”的精彩演講。張煜指出，普羅米修斯視覺在相機矩陣採集系統領域已深耕10年，全棧解決方案均為自研。


以下為演講實錄：

大家好，我是普羅米修斯的CEO張煜，我們公司主要做大模型可驅動的體積影片。首先介紹一下我們公司，普羅米修斯視覺是一家專注於研究體積影片技術及應用的高新技術企業，核心技術團隊由清華大學博士團隊和香港科技大學博士團隊等頂尖院校的高精尖人才組成，我們在相機矩陣採集系統領域已深耕10年，是全國唯一一家全棧解決方案都是自研的企業。迄今為止擁有發明專利70多項，目前估值不到10億，董事長是北航軟體學院的創始院長孫偉。

現在我跟大家分享一下公司做了10年的比較成熟的解決方案，其中一個核心方向是專業相機矩陣的同步、標定、採集+傳輸、儲存的全棧解決方案。它涵蓋以下四個特點，亞毫秒級別的同步、亞畫素級別標定、萬兆網路的傳輸和採集，以及高速固態硬碟儲存。

第一個特點是相機同步，整套系統支援從5fps到120fps的可自主調節採集，相機從幾臺、幾十臺到幾百臺都可以支援毫秒級別同步的採集方式。這是我們自研的一套同步系統，它是一個波形發生器，精度可達到亞毫秒級別，最高支援120fps的曝光。而且演算法會自動糾正隨著時間帶來的累計誤差，保障長時間採集拍攝過程中的穩定同步。

第二個特點是自動標定，行業人士都知道，幾百臺相機的標定是很麻煩的問題，我們已經自研超高精度標定演算法，所有相機全域性收斂，全域性誤差小於0.5個畫素，而且整個過程全自動化，10分鐘以內就能完成幾百個相機的同步標定。

第三個特點是高速採集+傳輸，從相機輸出、傳輸網路到儲存系統輸入都是萬兆網架構，保證海量資料採集傳輸順暢無延時，無卡頓。

第四個特點是儲存系統，在儲存上，我們採用了M.2高速固態硬碟採集系統 + 企業級HHD硬碟陣列，既保證高速採集，又確儲存儲可靠。

這個產品主要有四大應用場景，第一是無標記點動捕人體骨骼資料採集，第二是三維人體動態模型重建資料採集，第三是三維人體動態點雲資料採集，第四是語音表情動態資料採集。

在可選相機裡面，我們同時支援捲簾快門相機以及全域性快門相機。有些應用對深度有要求，因此我們還提供一個模組，這個模組由兩個IR相機、彩色相機和隨機散斑投射器的POD組成，可以完成非常準確的深度採集。該模組適用於三維建模，點雲採集，像流行的NeRF、NeuS等都可以透過這個方式採集資料。

在可選軟體包裡，首先講下IR雙目的stereo，這就是一個典型的IR相機拍出來的影像，身上的散斑都是我們研發的一些非均勻散斑，透過這種散斑和自研的stereo的一些演算法可以做到高精度的深度計算，之後再用基於神經網路的方式讓它變得更加精確。

圖片上顯示的是一個骨骼檢測軟體包，可實現全身骨骼點檢測以及高精度的臉部掃描。在透過多相機的擬合和檢測後，骨骼點和臉部的表情點會非常準，這個軟體包比較適合一些動捕人體骨骼資料採集的需求。

除了關鍵點的採集，我們還支援比較典型的SMPL和SMPLX的一些引數人體模型的採集。關於臉部的關鍵引數模型等，整套系統也同樣支援。所以不管是全身還是臉部都可以採用這套相機矩陣，透過增減或者選不同的模組去實現。

接下來介紹一些成功案例，港科大有我們一套動態的重建及應用元實驗室數字人重建拍攝系統。深圳第二高階技術學院、江西軟體職業技術大學、貴州盛華職業技術學院、北京容積視覺有限公司等，他們的整套方案也是我們提供的。

最後總結一下，公司研發的這套相機矩陣採集系統的相機數量從幾臺到幾百臺可選，相機型別不僅可選2K、4K、捲簾快門、全域性快門，紅外IR相機都是可選的，佔地面積7米乘7米，可拍攝範圍是5米乘3米高的圓柱體。

此外，我們產品有三大優勢，超過10年的產品研發，迭代，大量客戶長期使用，系統穩定，好用，完整；清華，港科大博士團隊從底層研發，底層可控可定製，演算法水平屬國際第一梯隊；軟硬體全國產，成本可控有優勢。