解讀通往8K/3D VR直播之路

2016年可以說是VR元年，從Facebook的Oculus，HTC的Vive到Sony的PS VR，層出不窮的VR裝置和VR內容讓使用者逐步開始體驗到了虛擬現實的魅力。VR影片和VR直播儼然已經成為了展覽會議、活動賽事的標配，甚至向婚慶、新聞、影視行業延伸。那麼VR直播的實現挑戰、關鍵技術、解決方案和應用場景都是什麼呢？本文將為大家逐一展開。

VR直播為什麼被看好

通常我們看到的活動、新聞現場VR直播，最大的特點是全景觀感和互動性強。VR直播採用專業的拍攝裝置覆蓋使用者整個360度的視野，捕捉到的每一幀畫面都是一個360度的全景，觀眾可以選擇上下左右任意的角度來觀看，沒有限制地觀察三維立體空間內的事物，體驗全景帶來的逼真和沉浸感。


同時，VR直播具有直播實時性、互動性的特點，結合VR的技術手段，從視覺、聽覺、嗅覺等感官系統出發，營造一個完整的虛擬環境，讓觀眾與空間、主播、甚至其他觀眾產生互動。以上兩大特點讓VR直播在直播模式中脫穎而出，成為了炙手可熱的、用來吸引使用者的新玩法。

預計在未來幾年，隨著技術積累和環境逐漸成熟，VR直播將逐漸迎來爆發。它將不僅會在演唱會、賽事、活動等場景中被越來越大規模地應用，也會逐漸走進新聞廣電、遊戲、教育、醫療等領域，服務於各場景下的沉浸式體驗。

那麼，如果你擁有適合的內容，你又該如何開展VR直播呢？

VR直播面臨的挑戰

任何的直播，觀眾都希望是清晰和真實的。VR直播中因為使用者體驗到的包裹著使用者所有視野的VR影片是一個球形的影片，而實際上在源端轉碼並且傳輸到終端裝置的是這個球形的二維展開。所以即使是VR影片都號稱特別高的解析度，但是使用者的體驗仍然不理想。如果要讓使用者體驗到超1080p的虛擬現實體驗，我們需要的VR影片源的解析度就要達到8K甚至更高，因為2D的虛擬現實還是離真實的感覺差太遠。理想情況下，我們需要8K/3D才能使得使用者真正的沉浸於虛擬現實之中，而這就需要50Mbps-100Mbps的頻寬。

 
VR球形影片及其Equirectangular平面展開

直播通常是在全國、甚至全球觀眾面前播放，而普通使用者家裡穩定的下載速度一般只有10-20 Mbps左右，更大的位元速率就不能保證家庭網路能穩定接收了。所以一般的VR影片會強行把位元速率壓到3-10Mbps左右範圍，犧牲清晰度，以保證使用者穩定接收。所以，頻寬問題成為了已經成為了VR實際播放效果不好最大的瓶頸。

假設這個限制因素得已解決，相對普通直播，VR直播也是對CDN的節點覆蓋度、頻寬儲備、穩定性的要求更高的。自建CDN和小型第三方CDN廠商都無法滿足高效分發的需求。而且，直播場景下的頻寬費用也是相對比較高昂的，這都是平臺方需要考慮的問題。

另外，VR直播也對轉碼的實時性、終端解碼效能等有很高的要求。鑑於其互動形式複雜，涉及到專業裝置，還會存在比如市面上主流頭顯、移動裝置的適配等問題。想要開始直播，需要投入大量的人力和物力進行研發。

面對如此困境，市面上能夠解決頻寬對播放效果的限制問題的解決方案提供商寥寥無幾。為了用技術給使用者帶來更高價值的體驗，阿里雲在近期推出了VR影片解決方案，在保證360度3D 立體VR影片的高畫質晰度的前提下，基於視角進行流媒體動態切換，最大化節約傳輸頻寬，實現低至 3Mbps 的 4K VR 分發，為使用者帶來突破性的高價值體驗。

VR直播整體流程及關鍵技術

VR直播的流程與普通直播相似，主要包括：攝像機採集、PC端影片編解碼及處理、影片推流、雲端分發、客戶端播放等。

 
一、 攝像機採集畫面，透過360度球形攝像機採集現場影片
二、 前端一體機進行影片處理，這一步中包括多路影片流的拼接
三、 對VR影片進行編碼，並推流到伺服器或CDN
四、 高效能雲端CDN進行影片分發，傳輸到離使用者最近的節點
五、 客戶端播放，這是VR直播和影片直播最大的不同之處，需要既支援沉浸式的頭顯體驗，也提供降級的手持手機VR體驗，可以滿足使用者隨時隨地輕量級的體驗需求

阿里雲VR解決方案在其中有四個關鍵技術與能力：

一、國標對映技術進行影片加工 有效節省75%位元速率
阿里巴巴VR技術團隊經過不斷探索實踐，提出的對映技術被VR國家標準認可。在技術實現層，支援兩種對映模型，對稱對映模型可以最大化端到端的VR顯示相容性，非對稱對映模型可以最大化關鍵畫面區域的有效畫素比和清晰度。

同時，阿里雲VR影片解決方案基於非對稱對映模型和動態流切換技術，影片流只傳輸使用者觀看的內容，用非常低的位元速率進行高畫質的VR點播和直播，最大化節約傳輸頻寬，比普通的壓縮技術可以節約75%左右的位元速率。
 

二、高畫質雙目VR拍攝方案
解決了位元速率太大這個痛點，對於影片採集的清晰度就不再有限制了。阿里雲VR影片解決方案支援高達20臺攝像機的實時畫面採集，攝像機間時間軸同步，搭配阿里云云導播臺，可實現現場導播和多機位切換。採集完成後，解決方案支援360度3D畫面實時拼接，並且具備高達10gb/s資料處理能力，完美儲存極大位元速率4K超高畫質原始介質。進入圖文包裝階段，阿里雲VR解決方案搭建了國內首個3D VR實時圖文包裝系統，透過計算深度資訊，將記分牌、角標等外插內容與全景3D畫面實時融合，全方位展示資訊，並且支援匯入現場2D畫面，使得VR直播是普通2D直播的加法，最佳化使用者體驗，這種技術曾應用在阿里雲年會之上，得到了實際場景的驗證。

三、全鏈路低延時實現
在整個VR直播系統的技術實現的方面，涉及到從採集端到雲端再到播放端的技術，阿里雲的VR影片解決方案，在雲端上採用基於阿里雲GPU+CPU技術的異構對映，處理和轉碼系統，在終端上可以實時進行多路視角流切換的播放器，終端實時切流延遲平均350ms左右。

四、全面保障
依託阿里雲CDN在全球1200+節點和OSS可靠的資料儲存，保障了直播內容的極速分發和媒資的安全、穩定。同時，該解決方案支援視覺化業務監控，支援無縫容災切流機制，保證運營安全。

 
除此之外，VR影片解決方案是從採集、轉碼、推流、分發到播放一站式的解決方案，採集端可進行快速圖文包裝，服務端一鍵入駐，全終端整合SDK，支援主流頭顯適配，並且已經在優酷影片經過3億次播放驗證，穩定可靠，值得使用者信賴。

VR直播的典型適用場景

一、 Live直播
多機位多視角覆蓋舞臺，與杜比合作的全景聲製作與分發，可以完美還原演唱會現場氛圍，給粉絲帶來身臨其境的體驗，圖文包裝樂曲和演員資訊，畫面實時互動更是增加了娛樂性，讓粉絲全面、立體、多角度地和明星零距離接觸。
 

二、 外景直播
在大型賽事、新聞、活動現場，VR直播可以消除觀眾與主持人、選手的距離感，突破原有的視角，高度還原事件現場。 

三、 秀場直播
VR直播可以給主播全新的表現能力，僅需升級一款移動VR裝置進行直播，就可以達到相比普通直播更具沉浸感的直播效果，使使用者打賞更投入

四、 遊戲直播
遊戲場景之下，平臺可以精心製作內容，只需要接入VR的推流地址，即可進行直播形式的推流與分發，給觀眾更好的觀看體驗。

在未來，有了技術的加持，VR可以走進教育、醫療、購物、旅遊、婚慶等各個領域，虛擬現實世界一定會帶給使用者更多驚喜，我們期待透過技術，更多人用更低的成本體驗到世界的豐富和精彩。

對VR直播的闡述就到這裡，如果想了解VR影片解決方案詳情，可點選：
https://www.aliyun.com/solution/security/vrlive?wh_ttid=pc