讀“基於深度學習的影像風格遷移研究綜述”有感

前言

1. 關於傳統非引數的影像風格遷移方法和現如今基於深度學習的影像風格遷移方法。
2. 基於深度學習的影像風格遷移方法：基於影像迭代和模型迭代的兩種方法的優缺點。
3. 基於深度學習的影像風格遷移方法的存在問題及其應用前景。

基於深度學習的影像風格遷移研究

傳統非引數的影像風格遷移方法

• 傳統非引數的影像風格遷移方法是主要基於物理模型的繪製和紋理的合成，但是非引數影像風格遷移方法只能提取影像的底層特徵，而非高層抽象特徵在處理顏色和紋理較複雜的頭像時，最終的合成效果較為粗糙難以符合實際需求。

基於卷積神經網路的影像風格遷移

• 隨著深度學習的興起，Gatys等人開創性的提出了一種基於卷積神經網路的影像風格遷移。該方法可以將影像的內容抽象特徵表示和風格抽象特徵表示進行分離，並通過獨立處理這些高層抽象特徵表示來有效的實現影像風格遷移。

影像迭代和模型迭代的優缺點

• 目前基於深度學習的影像風格遷移方法主要包括：基於影像迭代和基於模型迭代。對於這兩張方法，其中基於影像迭代的優點有：合成圖上的質量高，可控性好，易於調參，無需訓練資料，。但是其計算時間較長，對預訓練模型的依賴性也大。而基於模型迭代的方法及計算速度快，可用於視訊快速風格化，目前是工業應用軟體的主流技術。但是該方法影像生成質量還有待提高，而且還需要大量的資料進行訓練。基於影像迭代的目標是使得白噪聲影像同時匹配內容影像的內容特徵表示和風格圖上的風格特徵表示，最終獲得風格化的合成影像。主要的基本方法有最大均值差異法，馬爾可夫隨機場法，深度影像類比法。而基於模型迭代的主要方法有生成模型法，影像重構解碼器法。

基於深度學習的影像風格遷移方法的應用

• 隨著基於深度學習的影像風格遷移，在演算法和理論方面的不斷改進，目前基於深度學習的影像風格遷移主要應用於影像處理，視訊處理和風格設計的輔助工具。

基於深度學習的影像風格遷移方法存在的問題

• 就目前研究來看，基於深度學習的影像風格遷移方法，在如何提高演算法效率和影像質量上仍有很大的研究空間。除此之外基於深度學習的影像風格遷移的演算法仍存在如下一些問題：避免引數調整的問題，預訓練模型的限制問題，遷移學習理論還有待完善的問題，預處理和後處理方法的選擇。

• 總而言之，基於深度學習的影像風格遷移在工業界中有很大的需求，且具有重要的研究意義和廣闊的應用前景，因此對於這方面的學習非常值得我們去研究和深造。