导言

这篇文章有 2篇论文速递,都是生成对抗网络GAN方向(CVPR 2018),一篇解决为前景目标找到逼真的几何校正的问题,使得它在合成到背景图像中时看起来很自然,另一篇是预测人体运动行为。注意,两篇都是CVPR 2018文章。

CVer

编辑: Amusi

校稿: Amusi

时间: 2018-07-10

**前戏 ** Amusi 将日常整理的论文都会同步发布到 daily-paper-computer-vision 上。名字有点露骨,还请见谅。喜欢的童鞋,欢迎star、fork和pull。

直接点击“阅读全文”即可访问daily-paper-computer-vision。 link: https://github.com/amusi/daily-paper-computer-vision

生成对抗网络(GAN)

《ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing》

CVPR 2018

Background

Qualitative evaluation on the indoor rendering test set

Abstract:我们解决了为前景目标找到逼真的几何校正的问题,使得它在合成到背景图像中时看起来很自然。为实现这一目标,我们提出了一种新颖的生成对抗网络(GAN)架构,该架构利用空间变换器网络(STN)作为生成器,我们将其称为空间变换器GAN(ST-GAN)。 ST-GAN通过在几何扭曲参数空间中操作来寻求图像真实感。特别地,我们利用迭代STN变形方案并提出顺序训练策略(sequential training strategy),与单个生成器的简单训练相比,该策略实现更好的结果。 ST-GAN的关键优势之一是其间接适用于高分辨率图像,因为预测的扭曲参数可在参考帧之间转移。我们在两个应用中展示了我们的方法:(1)可视化室内家具(例如来自产品图像)在房间中的感知方式,(2)与真实肖像相匹配时,幻觉眼镜等附件的外观。

arXiv:https://arxiv.org/abs/1803.01837

code:https://chenhsuanlin.bitbucket.io/spatial-transformer-GAN/

《Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks》

CVPR 2018

System overview

(https://s4.51cto.com/images/blog/202101/31/72d762675470d2ccc0d699e11033cc25.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=) Examples of diverse predictions from our model

Abstract:了解人体运动行为对于自动移动平台(如自动驾驶汽车和社交机器人)来说至关重要,如果他们要驾驭以人为中心的环境。 这具有挑战性,因为人体运![]动本质上是多模态的:考虑到人类运动路径的历史,人们可以在未来采取许多社会合理的方式。我们通过组合序列预测和生成对抗网络的工具来解决这个问题:循环序列到序列模型观察运动历史并预测未来行为,使用新的汇集机制来汇总人们的信息。我们通过对抗 recurrent 的鉴别器来对抗,从而预测社会可信的未来,并通过新的多样性损失鼓励多样化的预测。通过对几个数据集的实验,我们证明了我们的方法在准确性,多样性,碰撞避免和计算复杂性方面优于先前的工作。

arXiv:https://arxiv.org/abs/1803.10892

注:李飞飞团队大作