英特尔的AI研究人员使用GTA 5的示例展示了人工智能如何在不大幅增强计算能力的情况下提升视频和游戏场景的真实感。

从简单的pacman像素到复杂的、高分辨率的3D网络世界:计算机图形学在最近几十年有了很大的进步。但数字3D世界离照片真实感还有很长的距离。通过线性方式(即通过更强大的硬件和更高效的软件)有可能达到这一目标,但使用AI的新渲染方法会是个捷径。

英特尔实验室的研究人员试验了这种AI渲染方法。这是将逼真的样式应用到计算机世界中,因此不必在3D引擎中从头开始生成技术要求很高的逼真的图像。由于完全保留了原始3D场景的结构,因此该渲染过滤器逻辑绕过了耗时的建模过程。例如,渲染AI使用更逼真的纹理更新街道,为汽车添加真实的光泽效果,并通过增加植被来增强周围的图形。

研究人员使用各种数据集对生成的人工神经网络(CNN)进行了训练,这些数据集包含从车载摄像头角度拍摄的真实街道的记录。训练数据集的选择会影响神经网络的图形处理。

在实验中,英特尔研究人员通过将3D引擎的几何数据(“ G缓冲区”)提供给生成神经网络来合并经典渲染和AI生成。研究人员称,与早期尝试相比,对AI模型的这种合并和一些改进应该能确保产生更少的图像错误。“我们的方法极大地改善了渲染图像的真实感。”研究论文的结论说。

根据实验结果看,在生成真实的道路、汽车和植被时,AI渲染效果非常好。但是,现实中不太常见的对象和场景,以及训练数据集中数量不多的对象和场景,则不太令人信服。

研究人员称,目前在GTA 5中尚未优化的AI实施在快速的Nvidia RTX 3090图形卡上大约需要半秒的计算时间。他们认为AI渲染可以更深入地集成,使之更有效地集成到3D引擎中,从而实现更逼真的图形效果。

此前,Nvidia 的AI 技术已可在高分辨率场景中计算出低分辨率图像,因此能根据质量设置,将性能提高 50%到 120%。其AI软件DLSS 最新的更新已经兼容 VR,承诺可为 VR 的性能和图像质量带来巨大的提升。

与Nvidia的AI升级类似,英特尔研究人员的工作表明,新型AI软件将在未来几年内更快地推进3D世界和计算机图形学的发展。