該項工作被CVPR 2019錄取為oral paper。CVPR是計算機視覺和人工智慧領域內的國際頂級會議，2019共收到投稿5160篇，錄取1300篇，其中oral paper288篇，僅佔全部投稿的5.6%。
作者製作了一個微信小程式展示APDrawingGAN的效果，小程式二維碼如下，免費使用，快來試試吧：
肖像畫是一種獨特的藝術形式，通常使用一組稀疏的連續圖形元素，如線條來捕捉一個人的外表特徵。肖像畫通常是在人物面前或基於人物照片進行創作的，其創作依賴於細緻的觀察、分析和豐富的經驗。一幅好的肖像畫能很好地捕捉到人的個性和情感。然而，即使是受過專業訓練的藝術家，完成一幅精緻的肖像畫也需要很長時間。
因此，自動地將人臉照片轉換為高質量的藝術肖像畫具有重要的藝術價值和實用價值。
圖1. 一些人臉照片和對應的藝術家畫的肖像線條畫。隨著深度學習的發展，使用卷積神經網路進行影像風格轉換的神經風格轉換（NST）方法被提出。隨後，基於生成對抗網路（GAN）的方法在影像風格轉換上實現了很好的效果。然而，這些已有方法多數針對於生成資訊較為豐富的風格，如油畫，這些風格的影像中包含很多零碎的圖形元素（如筆觸），而對單個元素的質量要求較低。也就是說，在這些風格的影像中，一些細節上的瑕疵會被忽視。
藝術肖像線條畫（Artistic Portrait Drawings，簡稱APDrawings）和已有工作研究的油畫肖像的風格有很大的不同。它主要有5個特點：
首先是高度抽象的，只由少數稀疏、連續的圖形元素組成，因此瑕疵會比油畫中更明顯。
其次是具有強限制性，由於包含面部特徵，APDrawings相比一般的風格有更強的語義限制（因為我們對人臉很熟悉，會對人臉影像中的瑕疵容忍度更低）。
第三是具有多樣性，因為對於不同的面部特徵，藝術家繪製的方式是不同的（如眼睛和頭髮）。
第四是非精確性，人工創作導致了一些面部特徵的輪廓沒法被完全精準的定位，這對基於畫素對應的方法是個很大的挑戰。
最後是APDrawings的概念性，藝術家有時會在原圖沒有亮度變化的地方新增額外的概念性的線條，比如頭髮區域中的白線和五官的輪廓線。
因此，即使是頂尖的方法也難以產生好的藝術肖像畫結果。
APDrawingGAN和一般P圖、摳圖、濾鏡等工具的不同在於，一般的軟體對真實照片進行美化得到更美觀或具有某種特點的真實照片，而APDrawingGAN生成的是非真實感的抽象藝術肖像畫，既能捕捉到照片特徵又和真實照片觀感完全不同。並且我們生成的線條風格的藝術肖像畫比一般的肖像畫（如卡通、鉛筆素描）具有更少的圖形元素，更抽象，因此也更有難度。下圖展示了我們方法和一般影像處理工具的結果對比。
圖2. 我們的方法和一般影像處理工具的處理結果的對比。人臉照片來源於免費版權圖片網站Pixabay。基於上述存在的問題，在CVPR2019上，清華大學計算機系劉永進教授課題組提出了APDrawingGAN，一個全新的層次化的GAN模型將人臉照片轉化為高質量的藝術肖像線條畫。為了更有效地學習不同面部區域的不同繪製風格，我們的GAN模型包括幾個專門針對不同面部特徵區域的區域性網路，和一個用於捕捉整體特徵的全域性網路。為了進一步應對線條的風格和藝術家畫作中不完全精確定位的輪廓，我們提出了一個全新的距離變換（Distance transform，簡稱DT）損失來學習藝術肖像線條畫中的線條筆畫風格。
APDrawingGAN的主要貢獻在於：
我們提出了一個層次化的GAN模型，可以有效地將人臉照片生成高質量、富有表現力的藝術肖像線條畫。不僅如此，我們的方法對黑白線條分明的複雜髮型繪製有更好的效果。
為了學習不同面部區域的不同繪製風格，我們的模型將GAN的渲染輸出分為不同層次，每個層次被獨立的損失項控制。我們提出了一個針對藝術肖像畫的損失函式，它包含四個損失項：對抗損失、畫素級損失、一種新的距離變換（DT）損失（用於學習藝術肖像畫中的線條筆畫）和一個區域性變換損失（用於引導區域性網路保持面部特徵）。
我們使用6655張人臉照片和非真實感渲染演算法生成的結果進行了預訓練，構建了一個包含140對高質量正面人臉照片和對應藝術肖像畫的APDrawings資料集，用於正式的訓練和測試。
圖3. 我們提出的APDrawingGAN的結構圖。左側為層次化生成器網路的結構，右側為層次化鑑別器網路的結構。在APDrawingGAN中，生成器網路G和鑑別器網路D都採用層次化的結構。生成器網路G用於將輸入照片轉換為藝術肖像畫，它包含6個區域性生成器（對應於左右眼、鼻子、嘴巴、頭髮和背景），1個全域性生成器和1個融合網路。區域性生成器的作用是學習不同區域性面部特徵的繪製風格。我們將所有區域性生成器的輸出混合到一個影像Ilocal中。區域性生成器和全域性生成器都採用U-Net結構。然後我們使用一個融合網路將Ilocal和全域性生成器的輸出Iglobal融合在一起，以獲得最終的生成圖。鑑別器網路D用於判斷輸入影像是否是真實的，即是否是藝術家畫的藝術肖像畫。其中全域性鑑別器對整個影像進行檢查，以判斷肖像畫的整體特徵。而區域性鑑別器對不同的區域性面部區域進行檢查，評估細節的質量。區域性鑑別器和全域性鑑別器都採用PatchGAN的形式。
針對藝術肖像線條畫中的線條筆畫風格，我們提出了一個全新的距離變換（DT）損失。我們前面提到，在藝術家的肖像畫中，線條和原圖有時不是精確對應的，會有微小的錯位，主要的原因有兩個：1.藝術家裸眼觀察，面部特徵的輪廓有時無法被完全精準地定位；2.藝術家新增的線條有時是概念性的，不與原圖完全對應（如頭髮區域中的白線）。因此僅使用L1損失是不足以應對這種情況的——L1損失會懲罰即使是很微小的錯位，但是對於較大的錯位並不會更敏感。於是我們提出一種新的損失來容忍這種細微的錯位，而懲罰過大的錯位。我們提出的這個DT損失是基於距離的，它計算的是藝術家肖像畫（Ground truth）中每個線條上的畫素到生成肖像畫中相同型別（黑或白）的最近畫素的距離之和，和生成肖像畫到藝術家肖像畫的距離之和的總和。DT損失對於微小的錯位的懲罰是非常小的，但會真正懲罰那些過大的錯位。我們使用了距離變換和倒角匹配（chamfer matching）來計算這個損失，公式如下：
倒角匹配距離：
距離變換損失：
其中和
表示兩幅肖像畫，
和
表示距離變換，
和
分別表示黑白線條檢測器，
和
分別表示人臉照片和對應的藝術家肖像畫。
圖4. APDrawingGAN在沒有對應藝術家肖像畫的人臉照片上的測試結果。人臉照片來源於免費版權圖片網站Pixabay。
圖5. APDrawingGAN與Gatys，CycleGAN和Pix2Pix方法在藝術肖像風格化上的結果對比。其中紅色矩形標出了CycleGAN和Pix2Pix方法結果中的一些明顯瑕疵。
圖6. APDrawingGAN與CNNMRF，Deep Image Analogy和Headshot Portrait方法在藝術肖像風格化上的結果對比。
圖7. 更多APDrawingGAN與現有風格轉換方法的結果對比。第一列是人臉照片，第二列是藝術家畫的肖像畫，第三列是一些方法需要的風格參考圖，第四至九列是其他方法的結果，最後一列是我們方法的結果。
圖8. 使用者研究（user study）結果統計。73名參與者參與了使用者研究。使用者研究中，每位參與者每次從兩種演算法生成的肖像畫中選擇一幅更接近藝術家肖像畫和影像質量更好的肖像畫，並對三種方法（CycleGAN、Pix2Pix和我們的方法）兩兩進行了比較，由此我們得到了三種方法的排名。表中給出了每種方法排名最好(1)、中間(2)和最差(3)的百分比。在71.39%的情況下我們的方法排名最好。論文資訊：
Ran Yi, Yong-Jin Liu, Yu-Kun Lai and Paul L. Rosin. APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR 19), Oral paper, 2019.
論文連結：
https://cg.cs.tsinghua.edu.cn/people/~Yongjin/Yongjin.htm
