#今日论文推荐# 英伟达用AI将2D照片制成3D模型，可让用户即兴创作，并能适配任何传统图形引擎
“逆渲染是一种将一系列静态照片重建为物体或场景 3D 模型的技术。该技术长期以来对统一计算机视觉和计算机图形学至关重要。”NVIDIA 图形研究副总裁大卫·吕布克（David Luebke）说，“通过将逆渲染问题的每一部分表述为 GPU 加速的可微分组件，NVIDIA 3D MoMa 渲染管道使用现代 AI 的机制和 NVIDIA GPU 的原始计算能力来快速生成 3D 对象，创作者可以在现有工具中不受限制地导入、编辑和扩展。”传统上，人们创建 3D 对象会使用摄影测量技术，这涉及的是一个多阶段、相当耗时的过程。创作者需要通过大量的软件工具和手动调整来达到最终期望的 3D 模型效果。目前的神经辐射场（Neural Radiance Fields，NeRF）等技术在生成对象或场景的 3D 表示方面取得一定优势，并提供了高质量的新视图合成。然而，这些方法通常会产生将几何图形、材料和照明纠缠到神经网络中的表示形式，不能以三角形网格格式生成，因此很难支持场景编辑操作。“三角形网格是用于在 3D 图形和建模中定义形状的基础框架，是此类 3D 工具使用的通用语言。”研究者在
NVIDIA 官网博文中写到。另外，为了更为实用，3D 对象应该适配众多常用工具，比如，游戏引擎、3D 建模器和电影渲染器等。而要在传统的图形引擎中使用它们，需要使用诸如标记立方体等方法从网络中提取几何图形，这可能会导致较差的表面质量，特别是在低三角形计数时。神经网络编码的材料不能轻易地编辑或提取与传统游戏引擎兼容的形式。相比之下，本次研究重建了与传统图形引擎兼容的 3D 内容，支持重启和场景编辑。由此产生的 3D 模型不需要转换就可以在任何支持三角形渲染的设备上进行部署，手机和网页浏览器同样适用。它可以在标准的游戏引擎中不经修改地使用，并对所有阶段进行基于梯度的优化。
论文题目：Extracting Triangular 3D Models, Materials, and Lighting From Images 详细解读：https://www.aminer.cn/research_report/62c298537cb68b460fe2847e 
