北京大学和新加坡国立大学联合提出了一个统一的 3D 生成框架 Cycle3D，该框架在多步扩散过程中循环使用基于 2D 扩散的生成模块和前馈 3D 重建模块。在去噪过程中，2D 扩散模型还可以控制未见视图的生成并注入参考视图信息，从而增强 3D 生成的多样性和纹理一致性。Cycle3D具有创建高质量和一致性的 3D 内容的卓越能力，超越了目前所有的基线方法。
亮点
- 在数十亿张网络图像上训练的预训练二维扩散模型可以生成高质量的纹理。
- 重建模型可以确保跨多视图的一致性。
- 在多步扩散过程中循环使用基于二维扩散的生成模块和前馈三维重建模块。
相关链接
项目地址：https://github.com/PKU-YuanGroup/Cycle3D
文章地址：https://arxiv.org/pdf/2407.19548
论文阅读
Cycle3D：统一的图像到3D生成框架，生成的3D内容具备高质量和高一致性
摘要
最近的 3D 大型重建模型通常采用两阶段过程：首先通过多视图扩散模型生成多视图图像，然后利用前馈模型将图像重建为 3D 内容。然而，多视图扩散模型通常会产生低质量和不一致的图像，从而对最终的 3D 重建质量产生不利影响。为了解决这个问题，我们提出了一个统一的 3D 生成框架 Cycle3D，该框架在多步扩散过程中循环使用基于 2D 扩散的生成模块和前馈 3D 重建模块。在去噪过程中，2D 扩散模型还可以控制未见视图的生成并注入参考视图信息，从而增强 3D 生成的多样性和纹理一致性。大量实验表明，与最先进的基线方法相比，我们的方法具有创建高质量和一致性的 3D 内容的卓越能力。
方法
Cycle3D概述
在 Cycle3D 的多步去噪过程中，输入视图保持干净，预先训练的 2D 生成模型逐渐生成更高质量的多视图图像，而重建模型则不断纠正它们的 3D 不一致性。红色框突出显示了多视图图像之间的不一致性，然后由重建模型进行纠正。
Cycle3D流程
我们提出了一个统一的图像到三维扩散框架，该框架循环利用预先训练的二维扩散模型和三维重建模型。在去噪过程中，二维扩散模型可以注入参考视图特征，而重建模型则结合时间嵌入来适应 x0 在不同的时间步长上。此外，重建模型编码器和 2D 扩散模型解码器的特征之间的相互作用增强了重建的鲁棒性。在推理过程中，我们使用多视角图像xo' 重建模型和上一步渲染的xt，重采样得到xt-1，同时保持输入视图清晰。
效果
比较
Cycle3D 通过单个未摆姿势的图像实现高质量且一致的 3D 生成。
更多结果
结论
在本文中，我们介绍了 Cycle3D，这是一个图像到 3D 的生成框架，它在多步扩散过程中循环利用基于 2D 扩散的生成模型和 3D 重建模型。随着去噪的演变，2D 扩散模型逐步生成更高质量的多视图图像，而重建模型则逐步纠正 3D 不一致性。2D 扩散模型还可以控制未见视图的生成并在去噪过程中注入参考视图信息。重建模型进一步与 2D 扩散相互作用，增强了重建能力。大量实验表明，我们的方法在生成质量和一致性方面超越了现有的最先进基线。
限制。 由于缺乏大规模 3D 场景数据集，我们当前的方法仅限于对象级 3D 生成，无法扩展到场景级生成。当社区中出现大规模场景数据集时，未来的工作可以探索更复杂的 3D 场景生成。
