欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

当前二维图像生成领域的发展已经非常成熟,但是三维的图像生成技术发展要滞后于二维图像,因为其难度相对于二维图像生成要高不少,本次我们来给大家介绍初学基于GAN的三维图像生成领域值得阅读的论文。

作者&编辑 | 言有三

1 3DGAN

3DGAN实际上就是DCGAN的3D版,从随机噪声中生成64×64×64的3D的形状,验证了简单的全卷积GAN就可以被迁移到三维形状目标的生成。

文章引用量:1500+

推荐指数:✦✦✦✦✦

【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读_人工智能

[1] Wu J , Zhang C , Xue T , et al. Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling[J]. 2016.

[2] Smith E J, Meger D. Improved adversarial systems for 3d object generation and reconstruction[C]//Conference on Robot Learning. PMLR, 2017: 87-96.

2 Visual Object Network

Google的研究者率先提出了完整的通用三维图像生成框架Visual Object Network,它分三个步骤依次生成3D形状,2.5D的轮廓和深度,以及2D的纹理。框架总共包括三个网络,分别是形状生成网络(shape network)、轮廓和深度投影网络(differentiable projection P)和纹理生成网络(texture network)。

文章引用量:150+

推荐指数:✦✦✦✦✦

【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读_python_02

[3] Zhu J, Zhang Z, Zhang C, et al. Visual Object Networks: Image Generation with Disentangled 3D Representation[J]. arXiv: Computer Vision and Pattern Recognition, 2018.

3 PrGAN

前面介绍的三维图像生成框架是从头生成3D物体的框架,类似于DCGAN模型,输入为噪声向量,生成结果无法控制,且具有较高的训练难度。PrGAN (Projective Generative Adversarial Network)是一个三维形状预测GAN框架,可以用于从多个二维图中推断真实的三维形状。这实际上代表着一类研究,从多张二维图像到三维图像,更多的是三维重建问题而不仅仅是生成。

文章引用量:200+

推荐指数:✦✦✦✦✦

【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读_深度学习_03

[4] Gadelha M ,  Maji S ,  Wang R . 3D Shape Induction from 2D Views of Multiple Objects[J]. IEEE Computer Society, 2016.

4 StyleGAN-3D

我们知道StyleGAN是一个非常强大的二维图像生成框架,那将其拓展到3D图像效果如何呢?这是高质量图像生成必须掌握的论文,仍然是来自于NVIDIA的工作,基于二维图像训练出的三维图像生成模型。当然,也有研究者将StyleGAN的二维卷积替换成三维卷积后,用于本身就是三维数据格式的医疗图像生成。

文章引用量:40+

推荐指数:✦✦✦✦✦

【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读_人工智能_04

[5] Chan E R, Lin C Z, Chan M A, et al. Efficient geometry-aware 3D generative adversarial networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 16123-16133.

[6] Hong S, Marinescu R, Dalca A V, et al. 3d-stylegan: A style-based generative adversarial network for generative modeling of three-dimensional medical images[M]//Deep Generative Models, and Data Augmentation, Labelling, and Imperfections. Springer, Cham, 2021: 24-34.

[7] https://github.com/adamandworking/3Dstylegan

5 如何进行实战

为了帮助大家掌握基于GAN的图像与视频生成理论与实战!我们推出了相关的专栏课程《深度学习之图像生成GAN:理论与实践》,感兴趣可以进一步阅读:

【视频课】CV必学,超6小时,2大模块,循序渐进地搞懂GAN图像生成!

【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读_深度学习_05

总结

本次我们介绍了初学基于GAN的三维数据生成必须掌握的一些方法,三维数据生成是一个非常前沿的研究领域,还有较大的发展空间,也有非常好的落地场景,对该方向感兴趣的朋友可以通过阅读这些文章进行初步了解。