Intro#

• 把一些雜訊隨機映射到圖片裡面
• Generator : 學生，生成圖像
• Discriminator : 老師，判別圖像是不是假的

Generator#

• 神經網路
• Input : 高維度向量(雜訊)
• Output : 圖像
• 輸入向量的每個維度代表某些特徵

Discriminator判別器#

• 也是個神經網路
• Input : 圖像
• Output : 標量值
• 用來判斷Generator的輸出是真的還是假的(打分數)

對抗式訓練流程#

1. 初始化Generator, Discriminator
2. 進入循環，每個epoch重複 :
   • 固定G、更新D，學習給真實物件高分 : $\theta_d \leftarrow \theta_d + \eta \nabla_{\theta_d} \tilde{V}(\theta_d)$
   • 固定D、更新G，學習產生可以騙過D的圖片 : 最小化 $-V_G = \frac{1}{m} \sum_{i=1}^{m} \log (1 - D(G(z^i)))$ ， $\theta_g \leftarrow \theta_g - \eta \nabla_{\theta_g} \tilde{V}(\theta_g)$

Loss Function#

• MinMax函數 : $\min_G \max_D V(D, G) = E_{x \sim p_{\text{data}}(x)}[\log D(x)] + E_{z \sim p_z(z)}[\log(1 - D(G(z)))]$
• D學會最大會欺騙能力
• G學會最大會欺騙能力

GAN Structured Learning#

Generator / Discriminator learn by itself#

Mode Collapsing#

• 生成器只學到部分模式(容量不足)
• 多樣性不足(泛化能力差)

Conditional Generation by GAN#

• Text-to-Image
  • 傳統監督 : 模糊圖像
  • Conditional GAN : 判別器接收圖片與條件，判別匹配程度
• Image-to-Image
  • 傳統監督(close) : 類似Auto encoder
  • Conditional GAN : 判別labal與生成圖片是否為real pair

Unsupervised Conditional Generation by GAN#

Intro#

• 高斯分布映射到圖片分布
• Forward process & Reverse process

Forward Process#

• 迭代式加入雜訊
• 線性排成
• 生成image pair用來訓練
• 克服GAN的一步生成困難

Training Denoising Model#

• 用生出來有雜訊的image pair做訓練
• 所有步驟使用相同模型

Reverse Process#

• 迭代使用去雜訊模型
• 從純雜訊恢復清晰圖像

DDPM (Denoising Diffusion Probabilistic Models)#

與GAN比較#

評估指標#