作者：楊洋，阿里雲技術專家，從事直播相關媒體處理引擎開發

## 背景

影像質量的衡量是個老問題，對此人們提出過很多簡單可行的解決方案。例如均方誤差（Mean-squared-error，MSE）、峰值訊雜比（Peak-signal-to-noise-ratio，PSNR）以及結構相似性指數（Structural Similarity Index，SSIM），這些指標最初都是被用於衡量影像質量的，隨後被擴充套件到影片領域。
這些指標通常會用在迴圈用在編碼內部，可用於對編碼決策進行最佳化並估算最終編碼後影片的質量。但是由於這些演算法衡量標準單一，缺乏對畫面前後序列的總體評估，導致計算的結果很多情況下與主觀感受並不相符。

## 影片質量

阿里雲影片雲每天都會生產、處理大量來自不同應用場景、不同編碼型別的影片資料。除了採用窄帶高畫質等技術以外，我們還會藉助 VMAF 標準對處理後的影片做質量評估，形成 媒體生產-->畫質評估-->編碼最佳化-->產品迭代 的技術閉環。基於這套反饋機制，對不同的場景做針對性最佳化，達到畫質最優、成本最低的效果。

## VMAF 介紹

面對不同特徵的源內容、失真型別，以及扭曲程度，每個基本指標都各有優劣，缺少一個通用的、能反應主觀意識的畫質評估手段。VMAF (Video Multimethod Assessment Fusion) 由 Netflix 開發並開源，利用大量的主觀資料作為訓練集，透過機器學習的手段將不同評估維度的演算法進行“融合”，得到一個能準確反映主觀意志的畫質評價標準。
VMAF 主要包括3種指標：visual quality fidelity（VIF）、detail loss measure（DLM）、temporal information（TI）。其中 VIF 和 DLM 是空間域的也即一幀畫面之內的特徵，TI 是時間域的也即多幀畫面之間相關性的特徵。這些特性之間融合計算總分的過程使用了訓練好的 SVM 來預測。
工作流程如圖：
![file](http://jeff.spring4all.com/Fh9F8Fr555xMnooEt3kZzX07Smbm)

## VMAF 模型分析

VMAF 預設提供了 vmaf_float_v0.6.1.pkl 模型，可以分為 HDTV、Phone、4K 超解析度三種使用模式，滿足不同播放場景下的畫質評測需求。

### 1.HDTV 模式

HDTV 是針對客廳電視的場景設計的，參照 SMPTE EG-18-1994 標準，所有訓練集的主觀資料 (EMOS) 是遵循這種方式收集的：將影片 scale 成 1080p，並以三倍於螢幕高度 (3H) 的觀看距離或 60 畫素/度的角度解析度進行顯示。
可以說，VMAF 模型試圖捕捉的是 3H 外顯示的 1080p 影片的感知質量。這是預設 VMAF 模型的隱含假設。因此，我們在對除 1080p 以外的其他解析度進行 VMAF 計算時，需要將影片先 scale 成1080p，才能保證結果的準確性。

![file](http://jeff.spring4all.com/FnCAZFfmSbqW3aUueQhe_4QE_txb)

試想一下，如果將一個 480p 的影片用 HDTV 模式來做評測，會發生什麼情況呢？這就好像 480p 影片是從 1080p 影片中剪下出來的一樣。如果 480p 影片的高度為 H '，則 H = 1080 / 480 * H '，其中 H 為所顯示的 1080p 影片的高度。因此，VMAF 建模的是 3H = 6.75H ' 的觀看距離。
換句話說，如果你計算 480p 解析度的影片對的 VMAF，你將預測觀看距離是其高度的 6.75 倍時的感知質量。在此觀看距離會隱藏大量主觀畫質的感知細節，從而讓 VMAF 分數可能偏高。

### 2.Phone 模式

預設的 vmaf_float_v0.6.1.pkl 模型也提供了移動裝置場景的畫質評估功能，可以透過引數 “--phone-model” 開啟。在此模式下，每個受試者在他/她感到舒適的距離觀看影片。
在訓練過的模型中，分數在 0 - 100 之間，與主觀投票量表呈線性關係，粗略的 “bad” 對映為20分，“excellent” 對映為 100 分。
橫向對比可以發現，如果將一部 540p 的影片分別放在標準電視、手機裝置、4K 裝置顯示，在手機裝置上的 VMAF 質量會比其他兩者更快的逼近 100 分的臨界值。

![file](http://jeff.spring4all.com/FnRgu2Am6AUPXburBYp0813TnkyC)

### 3. 4K 模式

由於 vmaf_float_v0.6.1.pkl 模型的訓練集中包括了 4K 和 1080p 的影片源，當需要對比 A/B 兩個 4K 影片哪一個畫質更好時，也能使用此模型。
但是由於預設模型採用的是 1080p + 3H 觀看距離的方式採集的 EMOS 資料，無法算出準確的 4K VMAF 分數。Netflix 後來專門提供了 vmaf_4k_v0.6.1.pkl 用於 4K 的畫質評估。

## VMAF 核心模組

VMAF 基於 SVM 的 nuSvr 演算法，在執行的過程中，根據事先訓練好的 model，賦予每種影片特徵以不同的權重。對每一幀畫面都生成一個評分，最終以均值演算法進行歸總（也可以使用其他的歸總演算法），算出該影片的最終評分。其中主要的幾個核心模組如下：

![file](http://jeff.spring4all.com/FqfYOPCg1-S_FRco31cjX5kkQAxP)

VMAF 分別用 python 和 C++ 實現了兩套介面，同時提供了 C 版本的 lib 庫，最新版本的 ffmpeg 已經將 VMAF 作為一個filter整合進去。
下面我們分析下各個模組的作用：

### Asset
一個 Asset 單元，包含了一個正在執行的任務資訊。比如目標影片與原始影片的幀範圍，低解析度影片幀上取樣資訊等（VMAF 會在特徵提取前透過上取樣的方式保證兩個影片解析度相同）。

### Executor
Executor 會取走並計算 Asset 連結串列中每一個 Asset 單元，將執行結果返回到一個 Results 連結串列中。Executor 類是 FeatureExtractor 與 QualityRunner 的基類。它提供了一些基函式，包括 Results 的操作函式、FIFO 管道函式、clean 函式等。

### Result
Result 是以 key-value 形式，將 Executor 執行的結果儲存起來。key 儲存的是 “FrameNum” 或者質量分數的型別（VMAF_feature_vif_scale0_score 或 VMAF_feature_vif_scale1_score 等），value 儲存的是一系列分值組成的連結串列。
Result 類也提供了一個彙總工具，將每個單元的質量分數彙總成一個值。預設的彙總演算法是“均值演算法”，但是 Result.set_score_aggregate_method() 方法允許定製其他的演算法。

### ResultStore
ResultStore 類提供了 Result 資料集的儲存、載入的能力。

### FeatureExtractor
FeatureExtractor 是 Extractor 子類，專門用於從 Asset 集合中提取特徵，作為基本的特徵提取類。任何具體的特徵提取介面，都繼承自 FeatureExtractor，例如 VmafFeatureExtractor/PsnrFeatureExtractor/SsimFeatureExtractor 等。

### FeatureAssembler
FeatureAssembler 是一個聚合類，透過在建構函式傳入 feature_dict 引數，指定具體的特徵提取標準，將該標準提取出的特徵結果聚合，輸出到一個 BasicResult 物件中。FeatureAssembler 被 QualityRunner 呼叫，用來將提取後的特徵陣列傳給 TrainTestModel 使用。

### TrainTestModel
TrainTestModel 是任何具體的迴歸因子介面的基類，迴歸因子必須提供一個 train() 方法去訓練資料集，predict() 方法去預測資料集，以及 to_file(),frome_file() 方法去儲存、載入訓練好的模型。
迴歸方程的超引數必須透過 TrainTestModel 的建構函式傳入。TrainTestModel 類提供了一些基礎方法，例如歸一化、反歸一化、評估預測效能。

### CrossValidation
CrossValidation 提供了一組靜態方法來促進 TrainTestModel 訓練結果的驗證。因此，它還提供了搜尋 TrainTestModel 最優超參的方法。

### QualityRunner
QualityRunner 是 Executor 子類，用來評估 Asset 任務集合的畫質分數。任何用於生成最終質量評分的介面都應該繼承 QualityRunner。例如跑 vmaf 標準的 VmafQualityRunner，跑 psnr 標準的 PsnrQualityRunner 都是 QualityRunner 的子類。

## 自定義 VMAF

最新版本的 vmaf 提供了 1080p、4k、mobilephone 三種場景下的 model 檔案。Netflix 號稱使用了海量的、多解析度、多位元速率影片素材（高噪聲影片、CG動漫、電視劇）作為資料集，得到的這三組 model。在日常使用中，這三組 model 基本滿足需求了。不過，VMAF 提供了 model 訓練工具，可以用於訓練私有 model。

### 1.建立新的資料集

首先，按照 dataset 格式，定義資料集檔案，比如定義一個 example_dataset.py:
```
dataset_name = 'example_dataset'
yuv_fmt = 'yuv420p'
width = 1920
height = 1080
ref_videos = [
{'content_id': 0,
'content_name': 'BigBuckBunny',
'path': ref_dir + '/BigBuckBunny_25fps.yuv'}
...
]
dis_videos = [{'asset_id': 0,
'content_id': 0,
'dmos': 100.0,
'path': ref_dir + '/BigBuckBunny_25fps.yuv',
}
...
]
```

ref_video 是比對影片集，dis_video 是訓練集。每個訓練集樣本影片都有一個主觀評分 DMOS，進行主觀訓練。SVM 會根據 DMOS 做有監督學習，所以 DMOS 直接關係到訓練後 model 的準確性。

PS: 將所有觀察者針對每個樣本影片的分數彙總在一起計算出微分平均意見分數 （Differential Mean Opinion Score） 即 DMOS，並換算成 0-100 的標準分，分數越高表示主觀感受越好。

### 2.驗證資料集

`./run_testing quality_type test_dataset_file [--vmaf-model optional_VMAF_model_path] [--cache-result] [--parallelize]`

資料集建立後，用現有的 VMAF 或其他指標 (PSNR,SSIM) 驗證資料集是否正確，驗證無誤後才能訓練。

### 3.訓練新的模型

驗證完資料集沒問題後，便可以基於資料集，訓練一個新的質量評估模型。
`./run_vmaf_training train_dataset_filepath feature_param_file model_param_file output_model_file [--cache-result] [--parallelize]`

例如，
`./run_vmaf_training example_dataset.py resource/feature_param/vmaf_feature_v2.py resource/model_param/libsvmnusvr_v2.py workspace/model/test_model.pkl --cache-result --parallelize`

feature_param_file 定義了使用那些 VMAF 特徵屬性。例如：
`feature_dict = {'VMAF_feature':'all', } 或 feature_dict = {'VMAF_feature':['vif', 'adm'], }`

model_param_file 定義了迴歸量的型別和使用的引數集。當前版本的 VMAF 支援nuSVR 和隨機森林兩種機器演算法，預設使用的 nuSVR。
output_model_file 是新生成的 model 檔案。

### 4.交叉驗證

vmaf 提供了 run_vmaf_cross_validation.py 工具用於對新生成的 model 檔案做交叉驗證。

### 5.自定義特徵和迴歸因子

vmaf 具有很好的可擴充套件性，不僅可以訓練私有的 model，也可以定製化或插入第三方的特徵屬性、SVM 迴歸因子。
透過 feature_param_file 型別檔案，支援自定義或插入第三方特徵，需要注意的是所有的新特徵必須要是 FeatureExtractor 子類。類似的，也可以透過 param_model_file 型別檔案，自定義或插入一個第三方的迴歸因子。同樣需要注意的是，所有建立的新因子，必須是 TrainTestModel 子類。

## 總結

一套普適的主觀質量評價標準，不僅要有時域、空域的多維度評價標準，符合主觀意識的融合演算法，還要有大量有效的、符合標準規範的 EMOS 資料集。是一個需要長期投入，不斷迭代的最佳化過程。

>「影片雲技術」你最值得關注的音影片技術公眾號，每週推送來自阿里雲一線的實踐技術文章，在這裡與音影片領域一流工程師交流切磋。

揭秘 VMAF 影片質量評測標準

相關文章