IQA+不懂︱影像清洗:影像質量評估(評估指標、傳統檢測方法)

悟乙己發表於2017-03-10

深度學習技術如火如荼,但是訓練的影像集都是標註好、質量高的,那麼筆者對如何進行影像清洗表示好奇。難道只有讓工人肉眼看嗎?一些傳統的IQA都是基於影像本身質量去評價,那麼我想知道,之外的影像資訊質量該如何評估?

.

一、IQA評估指標

現在還不知道除了肉眼之外的好辦法,只能先來列舉一下傳統IQA的一些評估指標(主要參考論文:《無參考影像質量評價綜述》):
.

1、MOS、DMOS

影像質量評價可以分為主觀評價方法和客觀評價方法,
主觀評價由觀察者對影像質量進行主觀評分, 一般採用平均主觀得分(Mean opin-ion score, MOS) 或平均主觀得分差異(Di®erential mean opinion score, DMOS) (即人眼對無失真影像和有失真影像評價得分的差異)
.

2、均方根誤差(Root mean squared error, RMSE)

均方根誤差比較演算法評價值與人眼主觀打分之間的絕對誤差, 衡量演算法預測的準確性
.

3、線性相關係數(Linear correlation coe±- cient, LCC), 也稱為皮爾遜(Pearson) 線性相關 係數

線性相關係數描述演算法評價值與人眼主觀打分之間的相關性, 也衡量了演算法預測的準確性.
.

4、Spearman 秩相關係數(Spearman0s rank ordered correlation coe±cient, SROCC)

Spearman 秩線性相關係數衡量演算法預測的單調性(Monotonicity).
.

5、Kendall 秩相關係數(Kendall rank order correlation coe±cient, KROCC)

Kendall 秩線性相關係數也衡量了演算法預測的單調性.
.

6、離出率(Outlier ratio, OR)

離出率表示超出主觀得分§2 倍標準差(存在多個觀察者的主觀得分時) 的樣本數百分比
.


二、影像質量檢測方式

本章只是簡單來說說傳統的,現在並不知道如何對影像內容質量進行檢測的無監督辦法。
.

1、全、半參考方法

影像的某些特徵與原始影像的相同特徵進行比較, 比如小波變換系數的概率分佈、綜合多尺度幾何分析、對比度敏感函式和可覺察灰度差異特徵 等. 其相應的應用領域包括視訊傳輸中的數字水印驗證、利用副通道進行視訊質量監控與碼流率控制等.
.

2、盲影像質量(Blind image quality, BIQ)

評價方法, 則完全無需參考影像, 根據失真影像的自身特徵來估計影像的質量. 有些方法是面向特定失真型別的, 如針對模糊、噪聲、塊狀效應的嚴重程度進行評價; 有些方法先進行失真原因分類, 再進行定量評價; 而有些方法則試圖同時評價不同失真型別的影像. 無參考方法最具實用價值, 有著非常廣泛的應用範圍.
.

3、機器學習的影像質量評價

(1)SVM + SVR
演算法則採用兩步方案, 先用SVM 進行失真型別識別, 進而對特定失真型別建立SVR 迴歸分析模型,我們稱之為SVM + SVR 模型.
(2)GGD
Moorthy 和Bovik的盲影像質量指數(Blind image quality index, BIQI) 分兩步對影像進行評價, 先採用小波分解係數經廣義高斯分佈(Generalized Gaussian distribution, GGD) 模型擬合得到的引數作為特徵, 由SVM 分類得到當前影像屬於每個類的概率, 再採用SVR 對各個退化型別計算影像質量指標值, 最後根據概率加權得到總的質量評價指標; 在後續的基於失真辨識的影像真
實性和完整性評價。
.

4、基於概率模型的方法

這類方法首先建立影像特徵與影像質量之間的統計概率模型, 大多采用多變數高斯分佈描述概率分佈. 對待評價影像, 提取特徵後根據概率模型計算最大後驗概率的影像質量, 或根據與概率模型的匹配程度(如特徵間的距離) 估計影像質量.

在德克薩斯大學奧斯汀分校的Mittal 等 提出的自然影像質量評價(Natural image quality evaluator, NIQE) 演算法中, 無需利用人眼評分的失真影像進行訓練, 在計算其區域性MSCN 歸一化影像後, 根據區域性活性選擇部分影像塊作為訓練資料, 以廣義高斯模型擬合得到模型引數作為特徵, 採用多變數高斯模型描述這些特徵, 評價過程中利用待評價影像特徵模型引數與預先建立的模型引數之間的距離來確定影像質量

Abdalmajeed 和Jiao在對影像進行區域性MSCN 歸一化後, 基於韋伯分佈提取自然影像統計特徵, 並以多變數高斯分佈描述它的概率分佈, 評時計算待評價影像特徵與無失真影像統計模型的距離作為影像質量評價度量. 根據概率建模是一種基於大量樣本的統計方法, 概率數學模型的選擇和樣本量的大小是影響效能的關鍵, 現有方法大都基於多變數高斯模型進行概率建模, 主要是為了方便建模. 考慮到表徵影像質量的特徵維度很高, 複雜的模型將需要更多的資料量, 這類方法只有當資料量較大時才可能取得較好的效果。
.

5、神經網路的方法

這類方法先提取一定的影像變換域或空間特徵, 再基於已知質量資料訓練一個神經網路迴歸分析模型, 由影像特徵預測影像質量.
Kang 等採用卷積神經網路(Convolutionalneural networks, CNN) 將特徵提取和迴歸分析融入同一個網路中, 網路包括5 層, 影像經區域性MSCN歸一化後以32 £ 32 子塊輸入網路, 第一層卷積層由50 個濾波器提取特徵, 第二層進行最大最小選擇, 後面兩層為800 節點的全連線網路, 最後一層為單個節點輸出影像質量。

Hou 等也採用具有5 層網路結構的深度學習演算法進行影像質量評價,綜合特徵提取、分類、後驗概率計算等功能為一體,由3 級小波變換細節特徵為輸入, 訓練過程先採用受限波爾茲曼機(Restricted Boltzmann machine,RBM) 進行層間學習, 再採用反向傳遞演算法進行精細調整. 這兩種演算法的實驗結果均明顯優於其他無參考演算法, 甚至在某些情況下優於全參考演算法中較好的VIF

相關文章