赫卡忒的眼眸:微光手機“夜視儀”是怎樣煉成的?
古希臘神話中,有一位黑夜女神赫卡忒。她徘徊於夜幕之中,月色的之下,是旅人與藝術家的守護者,甚至曾經幫助過宙斯等主神,備受萬神的尊敬。
而赫卡忒也是一位樂意接受凡人祈禱的女神,夜色到來時,人們會來到山頂進行祭祀,期望地看到赫卡忒的真容。
如何讓我們的視線洞穿黑夜,是藝術史上永恆的主題。在攝影時代到來後,如何捕捉和表現夜色更是一個最複雜的命題。從前,攝影師需要用複雜的裝置搭配昂貴的夜視攝像頭,才能完成。而在一次次手機影像突破,以及計算攝影的興起下,一雙能夠看清黑夜女神赫卡忒的眼眸,已經來到普通人手中。
不久之前釋出的vivo X80系列中,搭載了一項名為微光手機“夜視儀”的功能。在vivo釋出的一系列唐宮主題影片中,我們可以看到極夜實拍中大唐才子佳人的身影清晰可見。畫面乾淨且純粹。在這一刻,手機簡直可以被當作“夜視儀”來使用。
想要呈現這一幕其實並不容易,在夜拍環境下,演算法、攝像頭、晶片都有能力的侷限性。只有將每個領域的創新融合在一起,將能力協同到極致,才能帶來手機化身夜視儀的這個時刻。
一抹美麗夜色的背後,是一場計算攝影的錘鍊,是一句使用者至上的承諾。
計算攝影的暗夜突圍
2010年,史丹佛大學舉辦了一場技術沙龍,主題是討論能不能在攝影時,讓攝影裝置像計算機一樣去程式設計所拍到的影像。從而讓攝影不再是攝影師和精修師的天下,而是對所有普通人開放。
至此,計算攝影這一概念開始在業界流行開來。但從實驗室走向產業界,這段旅程足足跨越了十年。計算攝影的核心思路在於,手機攝影並不僅僅是一臺手機+一個攝像頭。而是希望在拍攝時就調動手機的計算能力、演算法能力、硬體協同能力,從而達成單獨依靠影像器件難以完成的拍攝任務。
谷歌最開始在Pixel系列中啟動了計算攝影效果,透過將多張照片合二為一展現出超過單次拍攝的效果。隨後,蘋果等主流廠商也開始跟進。計算攝影逐漸成為了最具潛力的手機影像發展方向。
然而經過幾年的發展,計算攝影的瓶頸也開始體現。由於計算模式相近,相關能力提升帶來的使用者可感知度太小。往往只能用資料和複雜的對比才能體現出計算攝影模組的存在。而對於使用者來說,需要的是真正能夠解決重大問題。可知、可感、可信的計算攝影能力。
向著暗夜突圍,很可能是計算攝影接下來的重要方向。
暗拍與夜色中的複雜光源處理,需要一系列複雜演算法的輔助,這就給了計算攝影足夠的發揮空間。
vivo X80系列微光手機“夜視儀”的暗拍效果,運用了光學感測器、晶片算力、AI夜視演算法的融合。最終才達到了暗夜下的極致拍攝。這場夜色中的影像盛宴,也為計算攝影方向帶來了一場突破。
這是一次觀眾能夠清晰看到,感知到,體會到的計算攝影變遷。
“算”盡極夜,凝練赫卡忒之眸
希望在夜晚拍到令人滿意的照片,應該是每一位使用者的期待。但為什麼計算攝影發展了這麼久,卻要等待vivo X80系列來完成這次突破?
這是因為夜色下的世界,並不是簡單的打光問題。光線駁雜、色彩失真,難以對焦,需要連續曝光、黑暗中背光面難以呈現等等困難都困擾著夜拍效果。即使造價昂貴的全畫幅單反也效果不佳,更遑論在手機端完成夜視儀級別的夜拍效果。
為了解決這些問題,需要的就不是一項能力,而是各項能力的協同、融合,互為支撐。在vivo X80系列中,我們可以看到鏡頭、計算、演算法、晶片的相互支援,在全鏈路技術提升下,最終打造了赫卡忒之眸。vivo X80系列不僅搭載了強大的微光手機“夜視儀”功能,還將實時黑光夜視功能擴充至超廣角、前置鏡頭。
讓我們一層層來透視,這雙能夠凝望黑夜女神的眼睛是如何煉成的。
一、自研晶片之眸
能夠實時完成夜景演算法調配,給使用者無縫體驗的夜景拍攝體驗,最終離不開計算能力以及晶片。vivo X80系列搭載了自研的V1+晶片,能夠支援實時黑光夜視功能,讓使用者在極夜環境下可以看到更加清晰明亮的實時預覽。
主晶片負責常規拍攝工作,在諸如夜景影片拍攝等高強度計算攝影的應用場景下,自研晶片V1+會負責提亮降噪及實時預覽,具有非常高的合理性。這種分配協作能夠有效降低能耗,提升計算效率,但實踐起來卻非常複雜。
為了完成這項技術跨越,V1+晶片首先需要跨越硬體相容性上的天塹,讓兩枚晶片真正做到“雙芯一用”。今年,vivo自研晶片在旗艦SoC平臺的相容性上又邁出了關鍵一步,在原本驍龍平臺之外成功相容了天璣9000平臺,成為行業內唯一一家實現了自研影像晶片相容多旗艦平臺的終端廠商,這也為“夜視儀”功能得以實現提供了前提基礎。
接下來,V1+晶片需要將消耗最大,最吃效能的演算法,硬體化封裝到自身平臺當中。硬體級的演算法封裝可以保證運算有的放矢,將自身效能發揮到極致。經過對使用者需求與使用場景的仔細衡量,V1+最終將3D實時立體夜景降噪、MEMC插幀和AI超分三個目前移動影像中最複雜的演算法進行了封裝。實現了與主SoC合作極大啟用硬體效率,資料吞吐速度可高效維持在約8GB/s,並且能效提高約300%,功耗降低了約72%。
這樣,“夜視儀”實時預覽這種非常吃效能,吃計算能力的功能,就可以由V1+針對性支援,實現了清晰乾淨的硬體級夜景降噪,不會讓使用者“對夜盲拍”。而為了進一步提升微光手機“夜視儀”的使用體驗,vivo還針對這一功能對V1+進行了精細化調優,依靠V1+強大的極夜影片降噪演算法、速度快、功耗低的極速記憶體管理系統,以及攝像頭模組、主晶片、vivo自研演算法提升等各方面的配合,最終實現在小於1lux環境下的極夜影片功能。
並且在自研影像晶片的幫助下,vivo X80系列可以黑光夜視功能擴充到了超廣角鏡頭以及前置鏡頭,確保了“夜視”能力沒有死角。
二、SoC協同之眸
自研晶片V1+的加入,讓vivo X80系列獲得了“一體雙芯”的格局,這也讓主晶片SoC與自研影像晶片之間的協同互動有了更多可能。為了完成微光手機“夜視儀”的效果,vivo與晶片廠商進行了超越行業常規的緊密協作與聯合創新。以MediaTek的天璣9000為例,這枚晶片本身具有強大的基礎效能與AI專項處理能力。結合這些特點,vivo與MediaTek進行了深度合作,最終讓V1+晶片與天璣9000達成了緊密的影像協同。
一次極致的夜拍背後,是vivo與MTK技術的緊密配合,雙方技術的嵌合式合作,才最終將天璣9000的能力進行了最大化釋放,保證了極夜環境下的“透視級”效果。
在微光手機“夜視儀”背後,vivo與MTK進行了從底層硬體到軟體的多層面聯合打磨。一次夜拍背後,影像由旗艦級超大底主攝進入ISP;緊接著天璣9000的天璣 5G 開放架構驅動對影像的處理,在確保降低頻寬功耗與畫面延遲的情況下提供高效率的 AI 畫質計算;接下來是演算法層,vivo獨特的獨特AI 降噪演算法開始工作,完成夜晚場景的處理;而支撐這大量AI計算的,是天璣 9000的第五代 APU 590,能夠實現AI 邊緣部署神經架構搜尋技術,NeuroPilot 模型深度硬體融合,A8W8混合A16W8高畫質解析運算元,最終讓複雜的高畫質影片演算法實時處理變得可行,同時儘量降低能耗。
這種你中有我,我中有你的緊密配合,讓兩枚晶片各司其職,減少效能與功耗浪費的同時確保了全鏈路的夜視效果,釋放了技術上的協同優勢。同時也打破了行業成規,為終端廠商與晶片廠商的合作塑造了新的正規化。
三、影像演算法之眸
在演算法方面,vivo X80系列升級了更加先進的夜景演算法,搭載了蔡司超級夜景功能。基於vivo自研演算法RAWHDR3.0,可以提升色彩表現的準確性,配合蔡司T*鍍膜技術方案以及抗眩光演算法,可以實現更加純淨的夜景效果。
近年來,“vivo色彩”漸漸成為了移動影像領域標誌性的色彩風格,vivo影像能力對色彩的理解與除錯逐漸成為了業界的標杆之一。歷經3年10款機型的打磨,vivo的記憶色體系形成了“鮮活”“明快”“有質感”的風格。另外,透過與蔡司的深度合作,蔡司自然色彩2.0以精細準確的調校,還原人眼所見的自然原生色彩,讓色準更準確、觀感更自然。在vivo X80系列中,你既可以體驗極具風格化的拍攝效果,也可以拍出人眼所見的真實色彩,vivo將選擇權交還給了使用者。
在演算法層面,vivo推出了越來越多具有鮮明特色與技術前沿性的應用成果。比如超級夜景RAWHDR3.0演算法,可以將超級夜景演算法從YUV域挪到RAW域,以獲得更好的亮度和影調錶現,從而讓夜景處理流程更合理,對夜色下的色彩調整更加細緻。
再比如vivo的SuperRAW融合了自研的RAWHDR多幀演算法,不論大光比逆光場景還是夜景環境,均能動態抓取最多10幀影像在RAW域進行超高位融合和降噪處理,輸出14bit位深的超強RAW檔案,顯著提升訊雜比和動態範圍,充分發揮手機影像的潛能。
到了這代產品,可以看到vivo與蔡司的合作愈發爐火純青,雙方的技術相容度達到了空前的水平,這讓vivo X80系列的光學能力全面超越了全球標準。
四、光學硬體之眸
影像器件是計算攝影與真實之間的窗戶,是實現“夜視儀”功能的基礎。vivo與蔡司有深度合作關係,使得vivo X80全系全鏡頭都達到了蔡司T*鍍膜標準,以保證在白平衡、色準、抗眩光和解析力等指標上達到vivo的影像標準。
在感測器上,vivo X80 Pro搭載了獨家定製的GNV超大底感測器,X80則首發索尼IMX866 RGBW大底感測器。在感測器型號的背後,隱藏著許許多多不為人知的創新技術。例如GNV,透過定製濾光片,vivo再一次突破GN1的極限,並採用了1G +6P的高規格鏡片組合,以及頂格的鍍膜工藝。可以說vivo X80系列搭載的鏡頭模組,顆顆都是定製款,反映了vivo在硬體上的精益求精,不惜工本,已經成為了vivo的標誌之一。
為了使用者的一次驚喜,赫卡忒之眸歷經了層層雕琢。為了算盡極夜,vivo已經準備了太久太久。
千座山巒,一抹夜色
微光“夜視儀”的背後,真正可以體現出什麼是手機影像的全鏈路創新。
接下來,無論是計算攝影的產業空間發展,還是手機突破紅海競爭,走向多元未來,都與廠商的全鏈路創新能力緊密相關。
回到vivo X80系列的夜視儀功能,可以看到這項垂直突破的背後,是器件、軟體、硬體的協同,是自研技術、自研晶片、產業合作等多重能力的整合。
“集結重兵力,解決真痛點”正在變成手機創新的新錨點。而這個思路背後是為了打破產業瓶頸,廠商需要以消費者需求為準繩,盡一切可能性完成創新積累,最終呈現出厚積薄發的效果。
從使用全行業最高成本的玻璃鏡片,到與蔡司持續合作光學器件、光學演算法創新,再到長週期、大成本研發的自研晶片,都可以看到vivo這種長期主義的戰略指引。
微光“夜視儀”看到的不僅是夜色,還有一段旅程。
旅程中,vivo的做法是逐步增強不可複製能力,最終將其融合在一起。達成N個1相加大於N的效果。登上千座山峰,只為了一抹不容替代的夜色。
vivo的創新觀念中,只要能夠讓消費者感知,做正確的事情,無論爬多少座山都是合理的。赫卡忒的眼眸,或許就是這樣煉成的。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2893142/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- mybatis是怎樣煉成的MyBatis
- 黑客是怎樣煉成的黑客
- React 是怎樣煉成的React
- Flutter bot_toast是怎樣煉成的FlutterAST
- HarmonyOS智慧座艙體驗是怎樣煉成的?立即檢視
- 航空公司系統是怎樣煉成的?
- 千億級HttpDNS服務是怎樣煉成的httpdDNS
- HR「最強大腦」是怎樣煉成的?
- 走近原始碼:壓縮列表是怎樣煉成的原始碼
- 一朵體驗好的雲是怎樣煉成的?
- 【進階】前端幸福感是怎樣煉成的(上)前端
- 【進階】前端幸福感是怎樣煉成的(下)前端
- 一家法律智慧公司的CTO是怎樣煉成的?
- 規模化敏捷 LeSS(三):LeSS Huge 是怎樣煉成的?敏捷
- 北京文化董事長宋歌:爆款是怎樣煉成的
- 優秀的資料分析師是這樣煉成的
- 【Flutter 元件集錄】Switch 是怎樣煉成的| 8月更文挑戰Flutter元件
- “毒瘤”Epic是怎樣煉成的?不到三個月就讓自己的形象盡毀
- 小島秀夫:全世界粉絲最多的遊戲製作人是怎樣煉成的遊戲
- 阿里和浙大的“AI 訓練師助手”是這樣煉成的阿里AI
- 蘋果2020最新財報出爐,“史上最高季度營收”是怎樣煉成的蘋果營收
- 你知道微視背後的視訊特效技術是怎樣做出來的嗎?特效
- 掌控遊戲風評的水軍是怎麼煉成?遊戲
- CSDN月薪35K的Java程式設計師是怎樣煉成的?(漲薪必備技能)Java程式設計師
- 《重灌上陣》:品類融合新思路 一款“科幻沙盒FPS”是怎樣煉成的?
- 友誼時光喜迎十週年慶典,“女性向引領者”是怎樣煉成的?
- 騰訊T9級別高工是怎麼煉成的?
- Facebook首次揭秘:超過10億使用者使用的Instagram推薦演算法是怎樣煉成的?演算法
- 20年吸金900億,以皮卡丘為首的“亞洲圈錢天團”是怎樣煉成的?
- 匹配率高達90%的問答機器人是如何煉成的?機器人
- Victroncms視覺化建站的流程是怎樣的?視覺化
- 專業的技術支援是如何煉成的
- 曾登頂全球21地區的《弓箭傳說》悄然回國 超休閒爆款是怎樣煉成的?
- 螞蟻金服月薪35K的Java程式設計師是怎樣煉成的?(漲薪必備技能)Java程式設計師
- 計算機是怎樣跑起來的計算機
- 乾貨 | AI 工程師必讀,從實踐的角度解析一名合格的AI工程師是怎樣煉成的AI工程師
- 在世界舞臺MBBF一騎絕塵:永遠更快一步的北京5G是怎樣煉成的?
- 谷歌長文總結四代TPU打造經驗:里程碑式的TPUv4是怎樣煉成的?谷歌