虛擬現實視訊作為新一代視訊型別被越來越多的人所關注，區別於傳統視訊，其良好的沉浸感和更大的自由度給人帶來次世代的視訊體驗。然而360°沉浸式視訊傳輸所需要的頻寬遠高於傳統視訊。現有的視訊傳輸系統預設認為使用者感知360°視訊與傳統視訊相同，這與實際使用者觀看沉浸式視訊的方式嚴重不符，造成了嚴重的頻寬浪費。北京大學提出了新一代基於沉浸式視訊感知質量模型的360°視訊傳輸系統Pano，旨在有限頻寬下，最大化使用者的感知質量，在提供高質量觀看體驗的同時大幅度降低頻寬消耗。目前這一成果已被計算機網路方向的世界頂級學術會議 ACM SIGCOMM 2019 收錄, 引起國內外廣泛關注。

360°沉浸式視訊又稱全景視訊，有別於傳統視訊單一的觀看視角，人們可以360度自由觀看視訊的任意區域。在過去的幾年中，越來越多的視訊內容提供商（如愛奇藝、優酷、Youtube等）提供了360°線上視訊服務，但由於360°視訊的超高頻寬需求，線上使用者體驗仍然處於較低水平，根據有關文獻研究，360°視訊需要80倍於傳統視訊傳輸的頻寬才能達到和觀看傳統視訊相似的體驗。雖然一些現有的360°視訊傳輸系統提出基於使用者視窗的傳輸方式，在一定程度上減少了頻寬消耗，但是這仍與使用者實際感知360°視訊質量的方式有著較大區別，造成了嚴重的頻寬浪費。北京大學和芝加哥大學的研究人員近期針對人眼感知360°視訊質量的機理進行了深入的研究，提出了360°視訊感知質量模型，極大了降低了360°視訊的頻寬消耗。

360°視訊感知質量模型

Pano提出，在使用者進行360°視訊觀看時，其感知質量的方式和以下六個因素相關。其中包括三個傳統視訊因素和三個360°視訊特有因素。

三個傳統視訊因素包括：1）視訊物體的亮度，據有關文獻研究，當視訊物體的亮度過高和過低時，使用者對物體的視覺敏感度會大幅度下降。 2）視訊物件的紋理複雜度，據有關文獻研究，當視訊物件的紋理複雜度較高時，使用者對物體的視覺敏感度會大幅度下降。 3）視訊物件與使用者中心視點的夾角，據有關文獻研究，使用者只對凝視點處周圍的物體有著很高的視覺敏感度，而對於其餘區域隨著視訊物件與使用者中心視點的夾角增大，使用者的視覺敏感度會逐漸下降。區別於傳統視訊，由於360°視訊視角更廣範圍更大，夾角因素的影響也更加顯著。

特別地，根據Pano的研究表明，還存在三個360°視訊特有的人眼感知質量因素：1）視訊物體運動速度。傳統人類視覺系統研究表明，人對運動物體的視覺敏感度會有所下降。類似的，Pano研究發現在360°視訊中，同樣存在由於使用者頭部旋轉和物體相對運動造成的視覺敏感度下降。2）使用者視點與視訊物體的景深差。在現實中當人凝視在某一個固定距離的物體上時，其餘不同距離的物體就會變得模糊不清，Pano發現人類視覺系統的這一特點在觀看360°視訊時亦存在。3）人眼的明暗適應。傳統人類視覺系統的研究表明，人的視覺系統在大幅度明暗變化後的一段時間對物體的視覺敏感度會大幅度下降，Pano發現在360°視訊中明暗變化的影響同樣存在。

Pano首次將上述人眼視覺感知360°視訊質量的因素引入網路視訊傳輸。使用科學統計的手段建立了使用者視覺敏感度的量化數學模型。其次，根據按照不同視覺敏感程度對360°視訊進行空間切塊劃分，形成使用者視覺敏感度驅動的空間視訊分塊。最後，根據實際的觀看情景（如使用者的視點位置，使用者的視點移動速度等），對不同區域動態分配傳輸位元速率，例如敏感程度較低的區域傳輸較低的位元速率，敏感程度較高的區域傳輸較高的位元速率。

北京大學的研究團隊已實現了Pano的系統原型，根據大量的主觀實驗表明，Pano提出的360°視訊感知質量模型可大幅提升了使用者的觀看體驗，降低頻寬消耗。在相同質量體驗條件下，可比現有的360°視訊傳輸技術節省41%-46%的頻寬消耗。

研究價值

目前360°視訊已經被各大視訊內容服務商所提供，但由於超高的頻寬需求，其質量體驗遠遠差於傳統視訊，這也是阻礙沉浸式視訊進一步被使用和普及的重要原因。Pano的價值在於將人眼視覺特性引入網路視訊傳輸，能夠更加充分地利用當前有限的頻寬，給使用者提供儘可能高的視訊觀看體驗，這對於沉浸式視訊的進一步推廣和普及具有重大的意義。

結束語

該專案距離真正的工業化落地還有一段較長的距離，更加精確的感知質量模型以及更加貼合實際的系統優化是未來仍然需要進一步完善的目標。

目前，該項研究的學術論文《Pano: Optimizing 360° Video Streaming with a Better Understanding of Quality Perception》已被ACM SIGCOMM 2019接收，是由北京大學計算機研究所的張行功團隊和芝加哥大學的江鋆晨團隊共同合作完成，並得到阿里、愛奇藝等機構的支援。

關於SIGCOMM

SIGCOMM 是網路領域的國際頂尖學術會議，對論文質量要求極高，2019年僅錄用主會論文32篇。三十多年以來，SIGCOMM多項研究成果得到廣泛使用，例如網際網路域名管理系統（DNS）、TCP協議等。

論文地址：https://people.cs.uchicago.edu/~junchenj/docs/360StreamingQuality_SIGCOMM.pdf