spot_img
首页图像AI从2D图像生成3D模...

从2D图像生成3D模型,GET3D极大提升3D内容创建速度

据The-Decoder报道,Nvidia 新近推出的AI模型 GET3D能基于 2D 图像生成有任何拓扑结构的高质量3D多边形网格,并可在标准图形引擎中无缝使用。GET3D将极大提升 3D 内容的创建速度。该模型是开源的,在 Github 上免费提供。

这一3D生成模型全名为“Generate Explicit Textured 3D”。其生成的多边形网格由带纹理的三角形组成——一种允许无缝导入 3D 程序、游戏引擎和电影渲染器的标准格式。3D 对象在导入后是完全可编辑的,例如缩放、旋转和照亮。借助Nvidia 的 StyleGAN-Nada,开发人员可以仅使用文本命令即可进一步改变 3D 模型的形状或纹理,从而——比如——将普通汽车变成警车。

GET3D生成分几何分支和纹理分支两个步骤:几何分支生成具有任何所需拓扑的多边形网格。纹理分支生成一个纹理字段,该字段可以表示颜色,例如,多边形网格曲面点处的特定材料。最后,与GA networks一样,鉴别器根据 3D 模型的合成照片评估输出质量,并不断对其进行优化以匹配目标图像。

GET3D使用大约100万张来自不同角度的3D模型合成2D图像进行了训练。Nvidia称,在NvidiaA100 GPU上进行的训练用了大约两天的时间。

GET3D能够生成怎样的3D模型取决于训练数据:例如,如果使用合成汽车或动物图像训练系统,则可以生成3D汽车或动物。训练数据集越大、越多样化,生成的3D模型就越富有细节,且多样化。

Nvidia研究团队表示,在一个现成的NvidiaGPU上,该模型在训练后每秒可以生成大约20个形状,这些形状组合在一起形成一个3D模型。生成在用户的计算机上本地进行,因此独立于内容限制,例如云AI服务中已知的内容限制。

“GET3D让我们离AI驱动的3D内容创作大众化更近了一步。”Nvidia多伦多研究实验室负责人Sanja Fidler说。

根据 Nvidia 研究团队的描述,GET3D 的一个限制是,目前只能使用来自已知相机位置的合成图像的 2D 轮廓进行训练。在未来的版本中,相机位置估计的进步可能会成为使用真实图像进行训练的基础。

目前,GET3D仅按类别进行训练。跨类别模型可以增加生成的3D模型的种类,并提高系统的灵活性。

专栏
赞赏
lighting
lighting
新的开始
本文系反讽机器原创(编译)内容,未经授权,不得用于商业目的,非商业转载须注明来源并加回链。

欢迎订阅我们的内容