影像篡改被動檢測技術一覽：基於特徵提取和卷積神經網路的篡改檢測

極市導讀： 本文聚焦于歸納和總結數字影像篡改被動檢測方法，對基於特徵提取和基於卷積神經網路的兩類篡改檢測方法進行全面論述，分析其中不足與問題，並討論了數字影像篡改被動檢測技術未來的發展趨勢。

目錄

• 0 前言

• 1 基於特徵提取的傳統篡改檢測

  • 1.1 複製黏貼篡改檢測方法
  • 1.2 拼接組合篡改檢測方法

• 2 基於卷積神經網路的篡改檢測

• 3 未來發展趨勢

  • 面向網際網路共享環境下的數字影像篡改檢測研究
  • 面向大規模影像資料集的數字影像篡改檢測研究

0前言

隨著影像編輯技術的不斷髮展，人們可以輕鬆地篡改影像內容或者操縱影像生成過程，使得影像的真實性和完整性受到挑戰，嚴重影響了人們對新聞報導、軍事經濟中影像真實度的信任。在已有的研究範圍裡，學者們將影像內容篡改型別總體分為兩類：

（1）複製貼上篡改（Copy-move）

（2）拼接組合篡改（Splicing）

複製貼上篡改是指是在同一幅影像上，將部分割槽域複製貼上到該圖中的其它位置；拼接組合篡改是指將一幅影像中的某個區域拷貝到另一幅影像中以生成新的影像。

數字影像篡改檢測按照是否預先在數字影像中嵌入附加資訊可以分為主動檢測和被動檢測（也叫盲檢測）兩種[1]，篡改主動檢測技術主要包括數字簽名技術和數字水印技術，這兩種方法的共同點是：需要影像提供方進行摘要資訊的提取或者水印的嵌入，即在實際檢測時需要影像提供方進行配合，這一條件在實際操作中很難滿足。因此無須對數字影像進行預前處理的數字影像篡改被動檢測技術成為當前影像檢測領域的研究熱點。數字影像篡改被動檢測技術大體上被分為兩類：

（1）基於特徵提取的傳統篡改檢測技術

（2）基於卷積神經網路的篡改檢測技術

在早期的研究中，研究者大多將注意力集中在影像本身的統計資訊和物理特性上，採用基於影像的特徵提取方法來檢測篡改區域，比如從鏡頭失真矯正、顏色插值、感測器噪聲等影像生成過程中不同的處理訊號入手，大量的篡改被動檢測演算法和數學模型被提出[2-5]，在資訊受限的場景中得到良好的應用，進一步地促進了數字影像取證領域的發展。但是傳統的篡改檢測技術只是針對影像的某一種屬性進行設計，使得最終的檢測率不是很高並且魯棒性也較差，導致基於特徵提取的篡改檢測演算法很難在實際當中高質量、高效率地解決影像的資訊保安問題。

近年來，隨著深度學習技術的不斷髮展，尤其以AlexNet為代表的卷積神經網路(Convolutional Neural Network，CNN)[6]在特徵提取方面的優異表現，加之其在影像分類、語義分割、物體識別等計算機視覺任務上取得的可觀成績，一些研究學者嘗試使用深度學習技術解決數字影像的篡改檢測問題。基於卷積神經網路的篡改檢測技術利用深度學習網路的多層結構和強大的特徵學習能力實現不依賴於影像的單一屬性的篡改檢測，彌補了基於特徵提取的傳統影像篡改檢測技術適用度不高的缺點。基於卷積神經網路的篡改檢測技術不僅可以定位篡改區域，而且還能給出相應的篡改型別，在現有的用於數字影像取證的公開資料集的實驗中，基於卷積神經網路的篡改檢測演算法效果優於傳統影像的篡改檢測演算法，並表現出較好的魯棒性。

現有數字影像篡改檢測被動檢測相關綜述主要聚焦於傳統檢測方法，如Chu等[6]闡述了目前國內外學者在JPEG影像篡改的被動取證技術方面的主要研究成果，基於篡改和方法的不同，將目前檢測方法分為雙重JPEG壓縮檢測方法和JPEG塊效應不一致性檢測方法。Du等[7]總結了目前基於底層線索和基於學習的感知雜湊影像篡改檢測方法，並根據方法的不同特點進行更為細緻的分類。整體缺乏對利用卷積神經網路來設計影像篡改檢測方法的闡述。本文聚焦于歸納和總結數字影像篡改被動檢測方法，分析其中的不足和麵臨的問題，對現有的代表性工作和方法尤其是基於卷積神經網路的方法的主要框架進行論述。討論數字影像篡改被動檢測技術未來的發展趨勢並給出結論。

1 基於特徵提取的傳統篡改檢測

傳統的篡改被動檢測技術基於影像統計資訊和物理特徵分別對複製黏貼和拼接組合的兩種篡改手段提出相應的檢測方法。研究學者根據篡改手段和影像屬性的不同，將檢測方法分成五個類別，即基於重疊塊的檢測方法、基於特徵點的檢測方法、基於影像屬性的檢測方法、基於裝置屬性的檢測方法和基於壓縮屬性的檢測方法。影像篡改檢測型別及技術如圖1所示：

圖1 影像篡改檢測型別及技術

1.1複製黏貼篡改檢測方法

複製貼上篡改的一般原理是將同一幅影像中相似的物體，平移到影像的另一個區域中。由於此類篡改操作對影像的變動較小，因此不易被人發現。複製貼上篡改定義如圖2所示：

圖2 複製貼上示意圖

令 $\mathrm{f}(\mathrm{x},\mathrm{y})$表示原始影像， $\mathrm{g}(\mathrm{x},\mathrm{y})$表示複製貼上篡改之後的影像。 ${\mathrm{A}}_{\mathrm{j}}$和 ${\mathrm{A}}_{\mathrm{i}}$表示原始區域， ${\mathrm{A}}_{\mathrm{j}}$'和 ${\mathrm{A}}_{\mathrm{i}}$'表示複製區域。 影像的原始區域和複製區域分別有位移差 $\Delta {\mathrm{D}}_{\mathrm{i}}=\left({\mathrm{x}}_{\mathrm{i}},{\mathrm{y}}_{\mathrm{i}}\right)$和 $\Delta {\mathrm{D}}_{\mathrm{j}}=\left({\mathrm{x}}_{\mathrm{j}},{\mathrm{y}}_{\mathrm{j}}\right),$則篡改影像可以表示為式 1 :

$$\mathrm{g}(x,y)=f(x\cos \partial +y\sin \partial -\Delta x,x\sin \partial +y\cos \partial -\Delta y)$$

其中(x, y)表示畫素點，f(x,y)表示影像在點(x, y)處的畫素值，∆x、∆y是對應分量的座標點差值，是系統引數。

1.1.1基於重疊快的篡改檢測方法

基於重疊塊的篡改檢測方法是將輸入的影像劃分為相互重疊的畫素塊，每一個畫素塊根據不同的變換計算規則得出相應的變換值，該變換值作為此畫素塊的特徵值，由此作為檢測該區域是否被篡改的依據。因此該方法的重點是依據相關數學原理在特徵提取的過程中計算得到塊特徵。根據具體實現方法的不同，可將基於重疊塊的檢測方法再次細分為 （1）單一幾何變換法；（2）複合幾何變換法。

下面分別針對這兩個角度闡述相關工作。

（1）單一幾何變換法。

單一幾何變換法是指基於一種數字影像變換理論，實現高效快速地篡改檢測。Fridrich等[7]提出一種基於頻率的複製貼上篡改檢測方法，先將圖片分割成相互重疊的塊，利用離散餘弦變換（Discrete Cosine Transform，DCT）提取出各個影像塊的特徵向量。通過匹配和濾波，兩個相似的特徵向量分別對應影像中兩個相似區塊，即複製貼上篡改區域。Luo等[8]通過比較相似重疊快，使用主成分分析（Principle Component Analysis）的方法最終確定可能的重複區域，並且可以對經過處理的影像（比如對影像進行模糊化、噪聲汙染等）進行較好的複製貼上篡改檢測。

（2）複合幾何變換法。

為了進一步提高檢測的準確性，一些工作融合不同的幾何變換理論，使提取的影像塊特徵更接近於期望值。如Li G等[9]提出了一種基於離散小波變換（Discrete Wavelet Transform，DWT）和奇異值分解（Signal value Decomposition，SVD）的複製貼上被動檢測方法，首先將離散小波變換用於影像分割，通過奇異值分解對小波中的低頻分量進行降維表示，然後按照字典順序對向量進行分類，複製貼上的影像塊將分類在相鄰列表，該方法通過降維操作不僅可以降低計算的複雜度，而且對於高度壓縮的影像或者邊緣處理的影像，也能準確定位篡改區域。在具體實現上與單一幾何方法不同，作者充分利用DWT和SVD分別在影像塊分割和降維特徵提取方面的優勢，實現了在檢測效率和檢測質量均良好的效能。

1.1.2基於特徵點的篡改檢測方法

由於基於重疊塊的篡改檢測方法在輸入的影像尺寸特別大、分割的重疊快特別多時，特徵值計算和特徵匹配過程緩慢，演算法的時間複雜度高。為了提高檢測精度和降低演算法的時間複雜度，一些學者提出了基於特徵點的篡改檢測方法。

1999年David Lowe在計算機視覺國際會議上提出SIFT演算法，即尺度不變特徵變換（Scale-invariant feature transform，SIFT）[10]，該演算法可在影像中檢測出關鍵點，廣泛用於數字影像的特徵描述。研究學者在這一理論基礎上進行改進優化，開展一系列基於特徵點的篡改檢測方法的研究。

Amerini等[11]仿造SIFT在關鍵點識別和聚類方面的設計思路，提出一種基於J-Linkage演算法的複製貼上篡改檢測及其定位的方法，在幾何變換空間內展現了魯棒性較高的聚類效果，實現對複製區域更好地預測和識別。Ardizzone E等[12]提出一種新穎的利用特徵點進行篡改檢測的方法，該方法首先從影像中提取特徵點（關鍵點），然後將物件建模為建立在這些點上的一組連線的三角形，根據三角形的形狀、顏色資訊以及提取到的三角形頂點的區域性特徵向量來進行匹配，這種方法相對於單一的塊匹配和點匹配實現了更高檢測精度，同時設計的演算法對幾何變換具有良好的魯棒性。

雖然基於特徵點的篡改檢測方法從影像的高熵區提取特徵資訊，得到的特徵向量的數目小，對於特徵匹配的時間較短，從而使得該方法的總體效率比基於重疊塊的篡改檢測方法總體效率高，但是也有其不足之處，當影像本身的對比度不高、光照一致性不足、影像壓縮程度較高時，提取到的特徵點會大大減少導致演算法失效。

1.2拼接組合篡改檢測方法

不同於複製貼上篡改方式，影像的拼接組合篡改操作的內容來源更廣泛，不侷限於影像內部的場景，因此拼接組合的篡改檢測具有更大的挑戰性。

拼接組合篡改可定義如下，如圖3所示：

圖3 拼接組合示意圖

令兩幅原始影像分別為f1(x,y)和f2(x,y)，兩幅影像的截圖操作分別為系統函式H1(x,y)和H2(x,y)，則拼接組合操作後的影像g(x,y)可表示為式2：

$$\mathrm{g}(x,y)=f_1(x,y{)}^{\ast }{H}_1(x,y)+f_2(x,y{)}^{\ast }{H}_2(x,y)$$

其中(x, y)表示畫素點，f(x,y)表示影像在點(x, y)處的畫素值。

1.2.1基於影像屬性的篡改檢測方法

在基於影像屬性的篡改檢測研究中，一部分研究學者嘗試從不同影像來源所產生的不同影像統計資訊來尋找特徵。目前演算法研究主要包括雙相干特徵、自然影像統計模型和邊緣檢測。

（1）雙相干特徵。Tiansong Ng等[14]研究了利用雙相干特徵進行篡改被動檢測的，並提出了使用幅值和相位作為特徵來檢測拼接組合篡改的存在，最後利用支援向量機（SVM）的分類方法對提出的影像屬性特徵的檢測結果進行評價，檢測準確度能達到70%。為了彌補經驗觀測與理論解釋之間的差距，後來該作者又在此工作基礎上提出並研究了一種基於雙極訊號噪聲思想來檢測拼接組合篡改引起的影像內容的斷層[15]，進一步提高了識別的準確度。

（2）自然影像統計模型。Shi等[16]提出自然影像模型，該模型由從給定的測試影像中提取的統計特徵和應用於測試影像的多尺度塊離散餘弦變換生成的二維陣列組成，用於區分篡改和未篡改影像。

（3）邊緣檢測。除上述兩種思路外，由於拼接組合篡改導致影像邊緣畫素相關度的不連續性也會產生具有可分辨性的特徵模式。例如，Dong等[17]將影像邊緣畫素資訊進行拼接檢測，判斷是否發生篡改。Wang等[18]利用不同影像拼接時色度閾值的差異，提出了一種基於邊緣影像灰度共生矩陣的彩色影像篡改檢測方法，該方法採用Boosting[19]特徵選擇器來確定最優特徵，然後通過支援向量機對特徵進行分類。

1.2.2基於裝置屬性的篡改檢測方法

現代多種數字裝置（如數位相機、掃描器、手機等）都可以生成數字影像，不同成像裝置來源的數字影像雖然在視覺上並沒有太大差異，但是由於各種裝置特徵的不同（如感光元件、顏色插值等），其產生的數字影像也會有不同的可分辨性特徵，通過對這些裝置屬性特徵的提取，使用相應的取證演算法進行篡改檢測。該方法可以從兩個角度來實現，其一是根據彩色濾波陣列（Color Filter Array，CFA），其二是根據相機的感測器噪聲（Sensor Noise）。數字影像成像過程如圖4所示：

圖4 數字影像成像過程

（1）根據彩色濾波陣列（CFA）插值檢測。其原理是：CFA插值是通過將捕獲的輸出轉換為紅色、綠色、藍色三原色通道（Red、Green and Blue，RGB）來重建全綵色影像的過程，數位相機得到一幅彩色影像，需要通過周圍畫素的值估計出缺失的其他兩種顏色的分量資訊，即為 CFA 插值過程。不同的成像裝置有不同的插值演算法，拼接組合篡改會導致兩個區域插值畫素的不連續。Dirik和Memon[20]利用CFA產生的偽影來檢測影像篡改，他們提出了兩個思路，一種是基於CFA模式估計，另一種是基於CFA插值畫素中的感測器噪聲功率應顯著低於非插值畫素。在此理論基礎上，Popescu等[21]提出基於線性模型對CFA插值的相關性進行建模，通過EM演算法（Expectation-Maximization algorithm, 最大期望演算法）[22]計算出畫素的相關性係數並對影像拼接做出檢測。為了更好地理解畫素相關性係數，選擇標準互相關係數（如式3所示）來衡量RGB顏色分量間的相關性強度。

$$\rho \left(I_1,I_2\right)=\frac{{\sum }_{\left(n_1,n_2\right)}\left(I_1\left(n_1,n_2\right)-E_{I_1}\right)\left(I_2\left(n_1,n_2\right)-E_{I_2}\right)}{\sqrt{{\sum }_{\left(n_1,n_2\right)}{\left({\mathrm{I}}_1\left({\mathrm{n}}_1,{\mathrm{n}}_2\right)-{\mathrm{E}}_1\right)}^2}\sqrt{{\sum }_{\left(n_1,{\mathrm{n}}_2\right)}{\left({\mathrm{I}}_2\left({\mathrm{n}}_1,{\mathrm{n}}_2\right)-{\mathrm{E}}_{{\mathrm{I}}_2}\right)}^2}}$$

式中 ${\mathrm{I}}_1,{\mathrm{I}}_2$表示兩個不同的矩陣， ${\mathrm{E}}_1$為矩陣 $\mathrm{I}$的期望值, $\mathrm{M},\mathrm{N}$表示矩陣的行、列，並且$1\le n_1\le M,1\le n_2\le \mathrm{N}$, 相關性係數 $\left|\rho \left(I_1,I_2\right)\right|\le 1,\rho$越接近 1 說明兩個矩陣的相關性越高。

（2）根據相機感測器噪聲模式檢測。其原理是：不同的影像具有不同的感測器噪聲分佈，由於拼接組合篡改來源於不同的兩幅影像，因此拼接區域具有不同於原始影像的剩餘區域中的噪聲模式，利用這些差異可實現拼接組合篡改的檢測。Lucas等[23]提出了一種檢測相機感測器噪聲的方法，當檢測某個區域缺少對應的模式噪聲時，即判斷為篡改區域。Gao等[24]利用三組統計噪聲特徵進行影像篡改檢測分析，包括去噪分析、小波分析和鄰域分析，有效地區分了數字影像的原始區域和拼接組合區域。為了解決一些檢測器對噪聲敏感導致不能應對噪聲退化的問題，Mahdian等[25]提出了一種簡單的方法，他們將一幅影像分割成具有均勻噪聲水平的各個分割槽，新增新的區域性噪聲可能會導致影像噪聲的不一致，根據影像中不同的噪聲級來檢測篡改區域。

1.2.3基於壓縮屬性的篡改檢測方法

基於壓縮屬性的篡改檢測方法主要是針對於JPEG檔案格式的影像。JPEG是一種常用的國際壓縮標準，並且也是目前流行的影像格式之一，其在高壓縮率的情況下仍然能保持較好的圖片質量。確定影像是否被壓縮是影像處理中的一個重要問題，在影像篡改檢測中起著非常重要的作用。

Fraid[26]提出針對不同JPEG壓縮生成的低質量影像的篡改檢測方法，但是該方法只有在檢測影像的一部分最初是低於影像其他部分的壓縮品質時才有效。Ye等[27]提出在JPEG壓縮過程中引入的塊效應可以作為一種“自然認證碼”，利用DCT係數直方圖設計了一種估計區域性JPEG壓縮分塊偽影度量技術，將偽影中的不一致性作為拼接篡改的證據。

在JPEG塊效應的基礎上，Luo等[28]將塊偽影作為檢測影像篡改的“水印”，提出了塊偽影特徵矩陣（Blocking Artifact Characteristics Matrix，BACM），並證明了對於原始的影像，BACM具有規則的對稱性，對於從另一張JPEG影像中拼接過來的部分，BACM的規則對稱性被破壞，充分利用這一特徵對影像篡改進行檢測。He等[29]提出了一種通過檢測DCT係數中隱藏的雙重量化效應來檢測篡改的JPEG影像並進一步定位篡改部分的方法，該方法還具有其他優點：除了能夠檢測影像的拼接組合篡改之外，還可以檢測由各種合成方法（如消光和修補）篡改的影像。但是當整幅影像被調整大小、旋轉或者裁剪時，該方法會失效。

綜上所述，自從影像內容安全性被重視以來，以影像篡改檢測為目標的各項數字取證工作隨之展開，雖然基於特徵提取的傳統篡改檢測方法在實際應用中都有其不足之處，但是各種演算法的提出有效提升了檢測效果，進一步完善了影像內容安全保護機制。傳統篡改檢測演算法對比如表1所示：

表1 傳統篡改檢測演算法比較

其中，被攻擊影像指的是經過處理的影像，比如對影像進行模糊化、噪聲汙染等。

2 基於卷積神經網路的篡改檢測

近年來，隨著深度學習技術的不斷髮展，卷積神經網路（Convolutional Neural Networks, CNN）[30]在特徵提取方面的優異表現引起了影像取證領域學者的注意。在數字影像篡改檢測方面，傳統的篡改檢測方法只是基於某種特定影像操作所引起的影像特徵改變來進行分析，而卷積神經網路的優點在於其具有強大的特徵學習能力，學習到的資料更能反映出資料的本質特徵，有利於結果的分類和視覺化。

Rao等[31]首次將卷積神經網路用於數字影像的篡改檢測，該方法利用CNN從輸入的RGB彩色影像中自動學習特徵層次表示，為了保留更細微的篡改痕跡，作者使用Fridrich提出的空間豐富模型（Spatial Rich Model，SRM）[32]初始化網路引數，並採用特徵融合技術得到最終判別特徵。提出的方案與其它傳統方法的檢測效能進行了比較，如表2所示：

表2 首次基於CNN方法與傳統方法的篡改檢測準確率的比較

由表2可知，基於卷積神經網路的影像篡改檢測演算法在三個公開的資料集上的檢測準確率均高於其他三個最新的傳統篡改檢測演算法。由此，利用卷積神經網路提取數字影像的特徵資訊，可以更好地完成篡改影像的檢測，隨之研究者們提出了更多可觀的思路和方案。
Zhang等[36]提出了一種兩階段的基於卷積神經網路的深度學習方法來學習篡改特徵，第一階段使用自動編碼器模型來學習每個單獨的篡改特徵，第二階段整合每個篡改特徵的上下文資訊以便更準確的進行檢測，該方法不僅在JPEG檔案格式的影像集上表現突出，而且對於CASIA資料集中的TIFF檔案格式的影像上也實現了一定準確率的篡改檢測。BAPPY等[37]從兩階段設計演算法的思想中受到啟發，採用了一個混合的CNN-LSTM模型來捕捉篡改區域和非篡改區域之間的區分特徵，LSTM（Long Short Term Memory networks，長短期記憶模型）[38]是一種能夠記錄影像上下文資訊的網路模型，作者的思路是將LSTM和CNN中卷積層的結合來理解篡改區域與非篡改區域共享的邊界上畫素之間的空間結構差異性，通過對網路端對端的訓練以及利用反向傳播機制讓網路學習引數，整個框架能夠檢測包括複製貼上和拼接組合不同型別的影像篡改操作。

Bondi等[39]結合影像成像裝置屬性的特點，提出了一種利用不同攝像機模型在影像上留下的特徵足跡進行影像篡改檢測和定位的演算法，該演算法的基本原理是，原始影像的所有畫素都應該被檢測為使用單一裝置拍攝，相反如果通過拼接組合的篡改方式進行影像的合成，則可以檢測出多個裝置的痕跡。演算法利用卷積神經網路從影像塊中提取攝像機模型特徵，然後利用迭代聚類的方法對特徵進行分類以檢測影像是否被偽造，並對篡改區域實現定位。該方法對於拼接組合篡改方式的影像具有很好的檢測效果，但是對於複製貼上的篡改影像，由於複製的部分來源於同一幅影像區域導致該方法不適用。

Liu等[40]提出了一種新的深度融合網路，通過跟蹤篡改區域的邊界來定位篡改區域。首先訓練一組稱為基網的深度卷積神經網路，分別對特定型別的拼接組合篡改進行響應，然後選取若干層基網路作為深度融合神經網路（Fusion Network，FN），融合網路通過對少量影像進行微調後，能夠識別出影像塊是否由不同的來源合成的。該方法中作者用大尺寸影像塊作為網路的輸入來揭示篡改區域的屬性，但是當被篡改區域的尺寸較小時，該方法可能會失效。

為了學習更豐富的影像篡改特徵，Zhou等[41]提出了一種雙流Faster-RCNN網路，並對其進行端到端的訓練，以檢測給定的篡改影像區域。同時藉助Faster-RCNN在目標檢測領域的應用[42,43]，該網路不僅能準確定位篡改區域，還能標註出篡改型別，如是否為複製貼上篡改等。網路結構如圖5所示：

圖5 雙流Faster-RCNN網路結構示意圖

其中，雙流之一是RGB流，其目的是從輸入的RGB影像中提取特徵，以查詢篡改偽影，如強對比度、非自然邊界等。雙流之二為噪聲流，是利用富文字分析模型（SRM）濾波層中提取的噪聲特徵來揭示真實區域和篡改區域之間的噪聲不一致性特徵，然後通過雙線性池化層融合來自兩個流的特徵，以進一步合併這兩種模式的空間特性，提高檢測準確性。該演算法的貢獻為（1）展示了Faster-RCNN網路如何適應影像篡改檢測的雙流模式；（2）證明了RGB流和噪聲流對於檢測不同的篡改方式是互補的。為之後做此方向繼續深入研究的學者供了創新思路。

雖然上述基於深層網路結構的影像篡改演算法可以學習到更高階的語義資訊，但對篡改區域的檢測和定位效果並不理想。基於此，Bi等[44]提出了一種基於級聯卷積神經網路的影像篡改檢測演算法，在卷積神經網路的普遍特性的基礎上，利用淺層稀神經元的級聯網路代替以往深層次單一網路。該演算法分為兩部分：（1）級聯卷積神經網路；（2）自篩選後處理；前者學習影像中篡改區域和非篡改區域的屬性差異，實現多層級篡改區域定位，後者對級聯神經網路的檢測定位結果進行優化。

演算法檢測流程如圖6所示：

圖6 基於級聯卷積神經網路演算法的檢測流程

其中，級聯卷積神經網路由粗篩網路、粒提網路和精辨網路3級子網路串聯組成，由於級聯網路結構的靈活性，通過將不同的訓練資料傳輸到不同層次的網路中，可以學習到特定的篡改特徵。自適應篩選後處理的過程是對級聯卷積神經網路的輸出結果進行優化，通過自適應篩選器去除誤檢部分，然後對篩選結果進行空白填充。對比實驗所參考的評價引數為精確率、召回率和F1值，分別表示為式4、式5和式6。結果表明，該演算法效果優於傳統影像篡改檢測演算法，並且表現出較好的魯棒性。

為了進一步提高基於卷積神經網路的篡改檢測方法的效能和檢測效率，2019年Bi等又提出了一種環形殘差網路（RRU-Net）[45]，可直接定位篡改區域而無需額外的預處理和後處理操作。該網路包含兩個關鍵步驟：殘差傳播（Residual Propagation）和殘差反饋（Residual Feedback），前者主要用於解決網路中梯度退化的問題，後者使篡改區域和非篡改區域的差異對比更加明顯。作者提出殘差反饋的背景是：在文獻[41]中，Zhou使用SRM進一步放大差異，但存在一個缺點，即當被篡改區域和未被篡改區域來自同一相機品牌或型號時，由於它們具有相同或相似的噪聲分佈，SRM濾波器的幫助將非常小，而殘差反饋的方法不僅僅關注一個或幾個特定的影像屬性，更加關注於輸入資訊中可辨識的特徵。目前，該方法在檢測效果上取得了良好的效能，並且在運算效率方面具有較大的優勢。

3 未來發展趨勢

由於數字影像篡改被動檢測技術不需要額外的先驗知識，在實際的司法取證、保證新聞真實性等場景中應用價值不言而喻，也促進了該領域學術研究的進步。綜合上述近10年的發展歷程，未來發展趨勢可總結為兩個層面，即面向網際網路共享環境下的數字影像篡改檢測研究和麵向大規模影像資料集的數字影像篡改檢測研究。

3.1面向網際網路共享環境下的數字影像篡改檢測研究

在目前的研究中，尤其是利用影像統計資訊和物理特性的傳統篡改檢測方法的大部分工作還是侷限於實驗室環境的資料集，然而隨著網際網路的開放共享和各種即時通訊軟體的應用，在實際生活中的影像通常會經過一系列再編輯的過程，比如裁剪縮放、美顏濾鏡、壓縮解碼等，這些操作會在一定程度上破壞了畫素之間的特徵聯絡，從而導致現有的檢測演算法沒有很好的達到預期效能。Wu[46]認為考慮到影像篡改檢測本身具有迫切的應用需求，可以預見針對網際網路共享環境下的檢測演算法研究是未來一個重要的研究內容，也是從實驗室走向實際應用必須要解決的問題之一。

3.2面向大規模影像資料集的數字影像篡改檢測研究

得益於計算機軟體和硬體裝置的不斷升級，深度學習技術開始走向大眾視野，研究學者在從大規模影像集中利用卷積神經網路學習特徵時，不再支付昂貴的實驗儀器費用，節省了大量的物力和財力。但是由於微信、微博等影像社交網路的流行，一方面研究學者可以獲取大量經過複製貼上和拼接組合的影像，為篡改檢測演算法有效性的研究提供了有利條件，但是另一方面大規模的影像資料對篡改檢測演算法造成了一些困難：Li等[47]認為由於需要提取原始影像和篡改後影像的區分特徵，加之需要計算篡改區域和非篡改區域樣本間的相關性，使資料規模增大，導致演算法的時間複雜度大大增加。因此，如何應對大規模影像資料集，是數字影像篡改檢測研究在未來必須要解決的一個重要難題。

參考文獻

[1] Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[2] 魏為民,胡勝斌,趙琰.數字影像取證技術的發展[J].上海電力學院學報,2012,28(04):369-374.

[3] Shuyi Zhu,Xiaochun Cao,Handong Zhao. Photographic composite detection using circles[J]. Frontiers of Computer Science,2012,6(6).

[4] Qiong Dong,Gaobo Yang,Ningbo Zhu. A MCEA based passive forensics scheme for detecting frame-based video tampering[J]. Digital Investigation,2012,9(2).

[5] Xiuli Bi,Chi-Man Pun,Xiao-Chen Yuan. Multi-Level Dense Descriptor and Hierarchical Feature Matching for Copy–Move Forgery Detection[J]. Information Sciences,2016,345.

[6] 楚雪玲,魏為民,華秀茹,李思纖,慄風永.面向JPEG影像篡改的盲取證技術綜述[J].上海電力學院學報,2019,35(06):607-613.

[7] Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[8] Luo W , Huang J , Qiu G . Robust Detection of Region-Duplication Forgery in Digital Image[C]// 18th International Conference on Pattern Recognition (ICPR 2006), 20-24 August 2006, Hong Kong, China. 2006.

[9] Li G , Wu Q , Tu D , et al. A Sorted Neighborhood Approach for Detecting Duplicated Regions in Image Forgeries Based on DWT and SVD[C]// Proceedings of the 2007 IEEE International Conference on Multimedia and Expo, ICME 2007, July 2-5, 2007, Beijing, China. IEEE, 2007.

[10] Lowe D G . Object Recognition from Local Scale-Invariant Features[C]// iccv. IEEE Computer Society, 1999.

[11] Irene Amerini,Lamberto Ballan,Roberto Caldelli,Alberto Del Bimbo,Luca Del Tongo,Giuseppe Serra. Copy-move forgery detection and localization by means of robust clustering with J-Linkage[J]. Signal Processing: Image Communication,2013,28(6).

[12] Ardizzone E , Bruno A , Mazzola G . Copy-Move Forgery Detection by Matching Triangles of Keypoints[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(10):1-1.

[13] Nillius P , Eklundh J O . Automatic estimation of the projected light source direction[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001.

[14] Tiantsong Ng S C . Blind Detection of Photomontage Using Higher Order Statistics[C]// International Symposium on Circuits & Systems. IEEE, 2004.

[15] Ng T.T, Chang S.F. A model for image splicing[C]//2004 International Conference on Image Processing, 2004. ICIP’04. IEEE, 2004, 2: 1169-1172.

[16] Shi Y.Q, Chen C, Chen W. A natural image model approach to splicing detection[C]//Proceedings of the 9th workshop on Multimedia & security. ACM, 2007: 5162.

[17] Dong J, Wang W, Tan T, et al. Run-length and edge statistics based approach for image splicing detection[C]//International workshop on digital watermarking. Springer, Berlin, Heidelberg, 2008: 76-87.

[18] Wang W, Dong J, Tan T. Effective image splicing detection based on image chroma[C]//2009 16th IEEE International Conference on Image Processing (ICIP). IEEE, 2009: 1257-1260.

[19] Yoav Freund,Robert E Schapire. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J]. Journal of Computer and System Sciences,1997,55(1).

[20] Dirik, A.E., Memon, N… Image tamper detection based on demosaicing artifacts[P]. Image Processing (ICIP), 2009 16th IEEE International Conference on,2009.

[21] Popescu A C , Farid H . Exposing digital forgeries in color filter array interpolated images[J]. IEEE Transactions on Signal Processing, 2005, 53(10):3948-3959.

[22] Couvreur C. The EM Algorithm: A Guided Tour[J]. 1996:115–120.

[23] Jan Lukáš,Jessica Fridrich,Miroslav Goljan. Detecting digital image forgeries using sensor pattern noise[P]. Electronic Imaging,2006.

[24] Gou H , Swaminathan A , Wu M . Noise Features for Image Tampering Detection and Steganalysis[C]// Image Processing, 2007. ICIP 2007. IEEE International Conference on. IEEE, 2007.

[25] Mahdian B , Saic S . Detection of Resampling Supplemented with Noise Inconsistencies Analysis for Image Forensics[C]// Computational Sciences and Its Applications, 2008. ICCSA '08. International Conference on. IEEE Computer Society, 2008:546-556.

[26] Farid, H. Exposing Digital Forgeries From JPEG Ghosts[J]. IEEE Transactions on Information Forensics and Security, 2009, 4(1):154-160.

[27] Ye S , Sun Q , Chang E C . Detecting Digital Image Forgeries by Measuring Inconsistencies of Blocking Artifact[C]// Multimedia and Expo, 2007 IEEE International Conference on. IEEE, 2007.

[28] Luo, Qu, Huang, et al. A Novel Method for Detecting Cropped and Recompressed Image Block[C]// IEEE International Conference on Acoustics. IEEE, 2007.

[29] He J , Lin Z , Wang L , et al. Detecting doctored JPEG images via DCT coefficient analysis[C]// Proceedings of the 9th European conference on Computer Vision - Volume Part III. Springer-Verlag, 2006.

[30] Lecun Y , Boser B , Denker J S , et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541-551.

[31] Rao Y , Ni J . A deep learning approach to detection of splicing and copy-move forgeries in images[C]// 2016 IEEE International Workshop on Information Forensics and Security (WIFS). IEEE, 2016.

[32] J. Fridrich, and J. Kodovsky, “Rich models for steganalysis of digital ´ images,” IEEE Transactions on Information Forensics and Security, vol.7, no. 3, pp. 868-882, June 2012.

[33] Ghulam Muhammad,Munner H. Al-Hammadi,Muhammad Hussain,George Bebis. Image forgery detection using steerable pyramid transform and local binary pattern[J]. Machine Vision and Applications,2014,25(4).

[34] He Z , Lu W , Sun W , et al. Digital image splicing detection based on Markov features in DCT and DWT domain[J]. Pattern Recognition, 2012, 45(12):4292—4299.

[35] X. Zhao, S. Wang, S. Li and J. Li.Passive Image-Splicing Detection by a 2-D Noncausal Markov Model[J].IEEE Transactions on Circuits and Systems for Video Technology, vol. 25, no. 2, pp. 185–199, Feb. 2015.

[36] ZHANG Ying, GOH J, WIN L L, et al. Image region forgery detection: A Deep Learning Approach[M]. MATHUR A and ROYCHOUDHURY R. Proceedings of the Singapore Cyber-Security Conference. Amsterdam: IOS Press, 2016: 1–11.

[37] Bappy M J H , Roy-Chowdhury A K , Bunk J , et al. Exploiting Spatial Structure for Localizing Manipulated Image Regions[C]// International Conference on Computer Vision (ICCV), 2017. IEEE Computer Society, 2017.

[38] Hochreiter S , Schmidhuber, Jürgen. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8):1735-1780.

[39] Bondi L , Lameri S , Guera D , et al. Tampering Detection and Localization Through Clustering of Camera-Based CNN Features[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2017.

[40] Liu B, Pun C M. Deep Fusion Network for Splicing Forgery Localization[C]//European Conference on Computer Vision. Springer, Cham, 2018: 237-251.

[41] Zhou, Peng, Han, Xintong, Morariu, Vlad I. Learning Rich Features for Image Manipulation Detection[J].

[42] Jiang H , Learned-Miller E . Face Detection with the Faster R-CNN[J]. 2016.

[43] Chen Y , Li W , Sakaridis C , et al. Domain Adaptive Faster R-CNN for Object Detection in the Wild[J]. 2018.

[44] 畢秀麗,魏楊,肖斌,李偉生,馬建峰.基於級聯卷積神經網路的影像篡改檢測演算法[J].電子與資訊學報,2019,41(12):2987-2994.

[45] Xiuli Bi, Yang Wei, Bin Xiao, Weisheng Li. RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection[J].2019

[46] Wu Y , Abd-Almageed W , Natarajan P . Image Copy-Move Forgery Detection via an End-to-End Deep Neural Network[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018.

[47] Li Y , Zhou J . Fast and Effective Image Copy-Move Forgery Detection via Hierarchical Feature Point Matching[J]. IEEE Transactions on Information Forensics & Security, 2018:1-1.

◎作者檔案
正蜀黍，萬千AI開發者之一，專注於計算機視覺技術知識分享
歡迎大家聯絡極市小編（微信ID:fengcall19）加入極市原創作者行列