深度生成模型之GAN优化目标设计与改进 ->(个人学习记录笔记)

发布时间:2024年01月02日

深度生成模型之GAN优化目标设计与改进

原始GAN优化目标的问题

1. JS散度度量问题

  • 不合适的度量准则

在这里插入图片描述

在这里插入图片描述

2. 梯度问题

  • 梯度消失与不稳定

在这里插入图片描述

优化目标的设计与改进

1. 最小二乘损失GAN

  • Least Squares GAN, 惩罚生成器生成的远离决策面的样本,即可将样本拉近决策面,从而可避免梯度消失问题

在这里插入图片描述

2. Energy-based GAN(EBGAN)

  • 使用自编码器学习样本重建,生成器作为自编码器的正则项,更自由的目标函数,更稳定的训练

在这里插入图片描述

3. Wasserstein GAN

  • 使用Earth-Mover距离(EM距离,推土机距离)作为优化目标,为在最优路径规划下的最小消耗

在这里插入图片描述

  • Wasserstein距离等价形式

在这里插入图片描述

  • Wasserstein梯度与优化目标

在这里插入图片描述

4. WGAN-GP

  • 对Wasserstein GAN添加梯度惩罚

在这里插入图片描述

5. Boundary Equilibrium GAN(BEGAN)

  • 对判别器和生成器的能力进行均衡

在这里插入图片描述

在这里插入图片描述

6. Loss Sensitive GAN

  • 判别器被称为损失函数L_θ(x),他对来自训练数据集中的样本x应该有较小的损失数值,对来自生成器G的样本G_Φ(z)应该有比较大的损失数值

在这里插入图片描述

  • 当生成样本与真实样本距离不够远,产生有效损失;超过一定距离,损失为常数。

在这里插入图片描述

7. Relativeistic GAN

  • Relativistic判别器, “给定的真实数据”比“随机抽样的假数据”更高的概率

在这里插入图片描述

文章来源:https://blog.csdn.net/Slience_me/article/details/135336403
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。