马克斯·普朗克计算机科学研究所和Facebook AI的研究人员研发了一种新的AI模型,可以灵活地将真人3D数字化,并藉此自动生成人物动画。
该模型被称为“神经演员”(Neural Actor),它可以在2D图像的基础上重建3D人体并随意制作动画。一旦一个人被系统数字化,就可以随意将其放大或缩小、变瘦或变胖。
通过神经演员,研究人员可以依靠现有的 AI 渲染方法来制作 3D 场景和自动动画。为了达到更高的质量,他们为AI训练创建了一个补充数据集。为此,他们使用众多类型的相机从各个角度拍摄了人类演员的各种动作。
除了训练过程中学习到的动作外,神经演员还能呈现超越训练数据集的动作。该模型也适用于多人动画,这将使多人舞蹈的完美同步成为可能。
研究人员表示,电影产业应是“神经演员”最适宜的应用场景。例如,扮演巨人或侏儒的演员将不再需要根据体型来选择,因为任何演员都可以先在3D中重建,然后调整身体比例来适合角色的身形。