图像风格迁移 代pytorch 基于gan的图像风格迁移

文章目录

• 解决问题
• 创新点
• 算法

• 损失函数

• 实验
• 总结

解决问题

常规风格迁移为一对一域迁移，当有N个域互相迁移时，则需要训练N*（N-1）个模型，显然一对一域迁移不适用于此场景。

创新点

本文提出StarGAN v2可实现多域之间互相迁移，同时开源动物脸数据集AFHQ

算法

好的图像与图像之间域的迁移应满足以下两点：
1、生成样本多样性；
2、多域可扩展性；
StarGAN V2主要包括四部分：
生成器、映射网络、风格编码、判别器；
生成器G：
在输入图片x基础上通过加入代表某域特性的风格s，允许G生成各个域的图像；
映射网络F：
提供隐向量z及域y，经过映射网络F生成风格$\tilde{s}$；
风格编码器E：
输入图片x和其对应域y，通过编码器E提取x所在域的风格编码$\hat{s}$；
判别器D：
判别器D有多个输出分支，每个分支Dy判别输入图片x是否属于域y；

损失函数

x为输入图片，y为x对应域，$\tilde{y}$为目标域

训练目标包括以下几部分：

常规对抗损失如式1，其中$\tilde{s} = F_{\tilde{y}}(z)$,

风格重构损失：
为了强化G利用F生成的风格编码$\tilde{s}$的能力，如式2，

风格多样性损失：
用于强化G生成不同风格图像，如式3，其越大越好；

循环一致性损失：
用于保证G生成图像保留x特性；如式4，其中$\hat{s}=E_y(x)$；

整体损失如式5

实验

从FID指标来看，StarGANv2生成图片与真图比较接近，同时超越其他多域迁移方法。

总结

作者提出的StarGANv2解决图像迁移中两大挑战：一个域图像到目标域图像样本多样性以及支持迁移到多个目标域。 StarGANv2超域其他多域迁移方法，并且开源动物脸数据集AFHQ。