3D模型又有新玩法,Goolge的新AI算法实时生成3D场景!对于3D、AR/VR来说,三维重建、模型获取又有新思路啦。
人工智能可以彻底改变计算机图形学的许多领域。新更新的的Google AI证明了这一点:
去年Google研究人员推出了“神经辐射场”(NERF),这是一种AI处理程序,可以从2D图像(例如照片)中提取3D深度数据。这样,NERF可以使用从不同角度拍摄的几张照片创建纹理3D模型。
为了获得令人印象深刻的结果,NERF针对扫描3D场景的每个视角计算了许多光束。单个光束可为房间中的每个单独点提供诸如颜色或透明度之类的信息(不管该点是被物体占据还是空着)。然后,将大量信息组合到光束终点处的最终可见纹理中。
此过程的计算量非常大:NERF需要100 teraflops才能计算800 x 800像素的单个图像。在最佳情况下,NERF会在十秒钟内在Nvidia RTX 2080上生成图像。这是一个概念证明,但对于实际使用而言太慢了。
NERF,SNeRG和激光雷达:现在,Google正在引入一种新方法,该方法可以每秒30帧以上的速度实时呈现与现代图形卡上的NERF视觉效果相同的结果。
名为“稀疏神经辐射网格”(SNeRG)的解决方案速度更快,因为它可以将3D场景保存在低分辨率的体素块中。然后,SNeRG仅使用光束扫描对象所占据的体素。由于不再需要为每个光束计算数十或数百个点,因此这大大减少了计算工作。
然后将光线收集的颜色信息和其他特征存储在紧凑的3D纹理图集中。有关3D场景的所有必要信息都保存在网络中。
论文下载:公众号内回复【生成3D场景】
本文仅做学术分享,如有侵权,请联系删文。
▲长按关注公众号