跳动百科

英伟达Research创建AI工具将一系列2D图像转换为令人印象深刻的3D模型

洪峰维
导读 NVIDIA的研究人员开发了一种新的反向渲染管道NVIDIA 3D MoMa,允许用户将一系列静态照片重建为物体甚至场景的3D计算机模型。与更传统的摄

NVIDIA的研究人员开发了一种新的反向渲染管道NVIDIA 3D MoMa,允许用户将一系列静态照片重建为物体甚至场景的3D计算机模型。与更传统的摄影测量方法相比,此工作流程的主要优点是它能够输出干净的3D模型,这些模型能够通过3D游戏和视觉引擎开箱即用地导入和编辑。

虽然还有其他摄影测量程序可以将2D图像转换为3D模型,但NVIDIA的3D MoMa技术通过生成主体的网格,材料和照明信息并以与现有3D图形引擎和建模工具兼容的格式输出,更进一步。这一切都在相对较短的时间内完成,NVIDIA表示,3D MoMa可以使用单个NVIDIA Tensor Core GPU在一小时内生成三角形网格模型。

输出的模型有三个主要组件:3D 网格模型、构成对象的材质参数以及有关场景中照明的参数。这种一体化输出使得从捕获到实现再到最终产品(无论是视频游戏还是视觉效果)变得更加容易。

为了展示 3D MoMa 并庆祝新奥尔良丰富的爵士乐历史,3D MoMa 背后的论文将在计算机视觉和模式识别会议上发表,NVIDIA 从不同角度拍摄了大约 100 张图像,每张图像包含五种爵士乐队乐器。然后使用MoMa对小号,长号,萨克斯管,鼓组和单簧管进行建模。您可以看到上面的结果。

今年早些时候,NVIDIA Research展示了Instant NeRF,它可以在几秒钟内将2D图像转换为3D场景。这还不是全部,到目前为止,在2022年,我们还看到了NVIDIA在神经图形训练方面的里程碑式成就,以及令人印象深刻的新NVIDIA Canvas更新。毫无疑问,人工智能为创作者提供了一些重大好处,特别是在节省创作艺术品和模型的时间方面。