GAN生成式对抗网络的引入

1.GAN的用途

①广泛应用于图像超分重建、表示学习、风栺转移等任务中。对于检测小目标，文献中提出利用Perceptual GAN 来增强小目标的特征表达。传统的 GAN 中生成器是学习从噪声分布到数据的映射，而Perceptual GAN 则是负责寻找不同尺度物体间的结构关联，在生成器中通过引入低层精细粒度特征将原来较差的小目标特征转换为超分辨率的表达形式，使得生成器将小尺度目标以假乱真生成大尺度目标，通过缩小物体间的表示差异使小物体与大物体有相似的特征表示；辨别器用于判别是真实的物体特征还是通过生成器超分生成的特征。两个子网络交替训练最后达到平衡。

②文献提出一种多任务生成式对抗网络 MTGAN 对小目标进行检测，此框架可以适用于现有的任何检测器。生成器 G 借助超分辨率网络生成高质量的图像，判别器 D 判别是否为真实的图片还是超分生成的图片，同时判别器 D 的分类损失和回归损失经过反向传播回到生成器中，促使生成器 G 拥有更多的小物体图像细节信息。两者通过交替迭代对抗学习的训练方式，直到 G 生成的数据以假乱真使得 D 无法准确区分。MTGAN 在小目标检测中 AP 值相比于基线检测器 Faster-RCNN 及 Mask-RCNN 增加了1.5%。

2.注意点

借助 GAN 网络能够获得分辨率高、小目标特征信息明显的图像，幵且能够增加数据集的规模，以此提高小目标检测的效果。但利用 GAN 网络进行小目标检测可能会出现训练不稳定的问题。具体来说，如果某一次 G 生成的结果中一些特征得到了 D 的认可，这时候 G 就会认为输出正确，会继续输出类似的结果，实际上 G 生成的结果并不好，导致最终生成结果缺失特征不全，导致检测效果不好。因此，利用 GAN 网络进行小目标检测适用于小目标类型单一、特征信息明显的场景。