CycleGAN:圖片風格,想換就換 | ICCV 2017論文解讀
在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背後的探索和思考。
在這個欄目裡,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。
點選本文底部的「閱讀原文」即刻加入社群,檢視更多最新論文推薦。
這是 PaperDaily 的第 51 篇文章本期推薦的論文筆記來自 PaperWeekly 社群使用者 @LUOHAO。本文提出的模型名為 CycleGAN,作者希望在不借助 paired example 情況下,來實現圖片的風格轉換。
如果你對本文工作感興趣,點選底部的閱讀原文即可檢視原論文。
關於作者:羅浩,浙江大學博士研究生,研究方向為計算機視覺和深度學習,現為曠視科技(Face++)的 research intern。
■ 論文 | Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
■ 連結 | https://www.paperweekly.site/papers/807
■ 原始碼 | https://junyanz.github.io/CycleGAN/
前言
CycleGAN 是發表於 ICCV17 的一篇 GAN 工作,可以讓兩個 domain 的圖片互相轉化。傳統的 GAN 是單向生成,而 CycleGAN 是互相生成,網路是個環形,所以命名為 Cycle。
並且 CycleGAN 一個非常實用的地方就是輸入的兩張圖片可以是任意的兩張圖片,也就是 unpaired。
單向GAN
讀者可以按照原論文的順序理解 CycleGAN,這裡我按照自己的思路解讀。CycleGAN 本質上是兩個映象對稱的 GAN,構成了一個環形網路。其實只要理解了一半的單向 GAN 就等於理解了整個CycleGAN。
上圖是一個單向 GAN 的示意圖。我們希望能夠把 domain A 的圖片(命名為 a)轉化為 domain B 的圖片(命名為圖片 b)。
為了實現這個過程,我們需要兩個生成器 G_AB 和 G_BA,分別把 domain A 和 domain B 的圖片進行互相轉換。
圖片 A 經過生成器 G_AB 表示為 Fake Image in domain B,用 G_AB(a) 表示。而 G_AB(a) 經過生辰器 G_BA 表示為圖片 A 的重建圖片,用 G_BA(G_AB(a)) 表示。
最後為了訓練這個單向 GAN 需要兩個 loss,分別是生成器的重建 loss 和判別器的判別 loss。
判別 loss:判別器 D_B 是用來判斷輸入的圖片是否是真實的 domain B 圖片,於是生成的假圖片 G_AB(A) 和原始的真圖片 B 都會輸入到判別器裡面,公示挺好理解的,就是一個 0,1 二分類的損失。最後的 loss 表示為:
生成 loss:生成器用來重建圖片 a,目的是希望生成的圖片 G_BA(G_AB(a)) 和原圖 a 儘可能的相似,那麼可以很簡單的採取 L1 loss 或者 L2 loss。最後生成 loss 就表示為:
以上就是 A→B 單向 GAN 的原理。
CycleGAN
CycleGAN 其實就是一個 A→B 單向 GAN 加上一個 B→A 單向 GAN。兩個 GAN 共享兩個生成器,然後各自帶一個判別器,所以加起來總共有兩個判別器和兩個生成器。一個單向 GAN 有兩個 loss,而 CycleGAN 加起來總共有四個 loss。
CycleGAN 論文的原版原理圖和公式如下,其實理解了單向 GAN 那麼 CycleGAN 已經很好理解。
X→Y 的判別器損失為,字母換了一下,和上面的單向 GAN 是一樣的:
同理,Y→X 的判別器損失為:
而兩個生成器的 loss 加起來表示為:
最終網路的所有損失加起來為:
論文裡面提到判別器如果是對數損失訓練不是很穩定,所以改成的均方誤差損失,如下:
下面放一張網友們自制的 CycleGAN 示意圖,比論文原版的更加直觀。
效果展示
CycleGAN 的效果還是不錯的,論文裡給出了很多結果圖,可以欣賞一下。
本文由 AI 學術社群 PaperWeekly 精選推薦,社群目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、資料探勘和資訊檢索等研究方向,點選「閱讀原文」即刻加入社群!
點選以下標題檢視相關內容:
#榜 單 公 布 #
2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈
2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈
我是彩蛋
解鎖新功能:熱門職位推薦!
PaperWeekly小程式升級啦
今日arXiv√猜你喜歡√熱門職位√
找全職找實習都不是問題
解鎖方式
1. 識別下方二維碼開啟小程式
2. 用PaperWeekly社群賬號進行登陸
3. 登陸後即可解鎖所有功能
職位釋出
請新增小助手微信(pwbot01)進行諮詢
長按識別二維碼,使用小程式
*點選閱讀原文即可註冊
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號後臺點選「交流群」,小助手將把你帶入 PaperWeekly 的交流群裡。
▽ 點選 | 閱讀原文 | 檢視原論文
相關文章
- PTAV:實時高精度目標追蹤框架 | ICCV 2017論文解讀框架
- 圖文轉換就選轉易俠
- 圖片格式轉換,JPG圖片轉換成PDF
- 基於GAN的字型風格遷移 | CVPR 2018論文解讀
- 手把手帶你復現ICCV 2017經典論文—PyraNet
- ICCV 2019 提前看 | 三篇論文,解讀神經網路壓縮神經網路
- jQuery 圖片垂直切換效果詳解jQuery
- js圖片 轉換JS
- 如何將圖片轉word?圖文轉換選轉易俠
- 小學課文 交換夢想
- 閱讀APP原始碼,瞭解Android studio觸控事件,切換圖片APP原始碼Android事件
- IDEA更換背景圖片Idea
- 圖片轉換文字appAPP
- 『論文精讀』Vision Transformer(VIT)論文解讀ORM
- 圖片格式怎麼轉換,如何轉換jpg
- js圖片切換例項JS
- PythonGUI工具 圖片大小轉換PythonNGUI
- DeepSort論文解讀
- AlexNet論文解讀
- 輪廓檢測論文解讀 | Richer Convolutional Features for Edge Detection | CVPR | 2017
- 怎麼轉換圖片格式並壓縮圖片
- 如何將圖片轉換成影片?
- 圖片上傳顯示替換
- 圖片heic怎麼轉換jpg?
- 圖片怎麼轉換成PDF,圖片轉PDF教程
- PDF 轉換圖片然後識別圖片內容
- PointNet系列論文解讀
- EfficientNet & EfficientDet 論文解讀
- Qt QtCharts給QChartView換膚,換背景色新增背景圖片QTView
- 如何把圖片轉換成文字?轉換工具用哪個?
- 近期有哪些值得讀的QA論文?| 專題論文解讀
- opencv 圖片幾何變換-縮放OpenCV
- 教程:怎麼轉換heic格式圖片
- vue 裡面動態更換圖片Vue
- 怎麼替換公司網站圖片網站
- WidsMob ImageConvert for Mac 圖片格式轉換器Mac
- heic圖片轉換格式怎麼轉?
- 幻燈片放映模式切換windows terminal背景圖片模式Windows