李弘毅老師GAN筆記(三),Unsupervised Conditional GAN

taoyafan發表於2018-07-31

目錄

0 概述

1 直接轉換

1.1 第一種方法

1.2 第二種方法

1.3 第三種方法

1.4 StarGAN

2 基於特徵轉換

2.1 第一種方法

2.2 第二種方法

 2.3 第三種方法

 2.4 第四種方法

3 其他應用 


0 概述

兩種方法,如圖1所示,方法一是直接轉換,方法二是先得到特徵再解碼。

圖1 兩種方法簡介

1 直接轉換

1.1 第一種方法

如圖一所示,判別網路判斷生成圖片是否是第二類,但是容易出現生成影象與輸入影象不相關,不過可以通過設計生成網路來解決,簡單的生成網路則可以使得輸入與輸出相關。

圖2 方法一示意圖

1.2 第二種方法

如圖 3 所示,可以通過一個預訓練的編碼器得到生成網路的輸入與輸出的特徵,使其越接近越好。

圖3 第二種方法示意圖

1.3 第三種方法

如圖4所示,是一種類似環形的形式,叫做 Cycle GAN。

圖4 第三種方法示意圖

1.4 StarGAN

是一種可以生成各種多種類別的網路,由於只使用了一個生成網路,所以類似星星的形狀,如圖5所示,其結構圖如圖6所示,示例如圖7所示。

圖5 StartGAN
圖6 StarGAN 結構圖

 

圖7 StarGAN 示例

2 基於特徵轉換

理想效果如圖8所示,下面也是介紹各種方法。

圖8 基於特徵轉換理想效果

2.1 第一種方法

共享編碼網路和解碼網路的部分權值。

圖9 第一種方法示意圖

2.2 第二種方法

在特徵出加判別網路,判斷為哪一類輸出的特徵,期望兩種類別輸出特徵相同。如圖10所示。

圖10 第二種方法示意圖

 2.3 第三種方法

叫做ComboGAN,是一種迴圈結構,要求最終還原影象與輸入影象相同,如圖 11 所示。

圖11 第三種方法示意圖

 2.4 第四種方法

與第三種類似,只不過是要求最終兩種類別輸出特徵相同。如圖12所示。

圖12 第四種方法示意圖

3 其他應用 

除了可以用作影象領域,也可以用作其他領域,比如聲音領域,輸入是一個人的聲音,輸出是另一種人的聲音。在過去用傳統的監督學習的話,需要獲得兩個人說相同的句子的錄音,而學習了今天的內容,獲得不同內容錄音也可以了。

相關文章