泰国Vidyasirimedhi 科学技术研究所的研究人员研发了一种名为“NeX”的算法，可以从几张照片中实时生成具有自由移动视角的 3D 场景。论文《NeX：具有神经基础扩展的实时视图合成》展示了这一研究成果。
从不同的视角拍摄静态场景，从中创建 3D 图像，并实现视角的无级转换，这一直图像AI研究的愿景。为了使结果看起来逼真，必须在计算中包括不断变化的光反射——这是一项极其复杂的任务。如果它得到解决，昂贵的光场相机将是多余的。反过来，这可能会带来立体摄影的普及：3D 照片可能成为智能手机和 VR 都将从中受益的标准。想想虚拟旅游、产品预览，或者只是人们储存记忆的方式。NeX让我们朝这一愿景迈进了一大步。
该算法基于MPI（多平面图像）技术，其中光场以几个半透明深度级别的形式表示。MPI有两个缺点：计算量很大，并且只能以可信的方式部分再现复杂的表面反射。通过 NeX，科学家们希望突破这两方面的限制。
研究人员使用专门为此任务训练的神经网络成功地做到了这一点。与早期的 3D 图像合成方法相比，它能更逼真地模拟光反射，并且图像整体也会更清晰。
NeX 的工作效率比以前的系统高出大约 1000 倍，并且能够以高帧率进行实时播放。不过这需要强大的硬件。基于 17 张图像生成的 3D 照片在 Nvidia RTX 2080 Ti 上以每秒 300 张图像的速度运行。谷歌也在这方面取得了进展，并在春季推出了一种名为SNeRG的解决方案，可在 MacBook Pro 上运行。泰国研究人员在他们的研究中没有采用谷歌的方法。
您可以在研究项目的官方网站上测试 NeX 的实时渲染——在智能手机、PC 或带有 WebXR 兼容浏览器的 PCVR 眼镜上。研究论文也可以在那里下载。
尽管取得了很大的进展，但仍然存在障碍。MPI 技术的一个主要限制也存在于 NeX：如果视图离图像中心太远，则会产生伪影并破坏 3D 效果。此外，AI算法在要求苛刻的场景中有时不堪重负，并没有达到具有欺骗性的逼真效果。
研究人员在论文的结论中表示，他们的 AI 算法可以进一步改进，并在未来转移到 MPI 以外的技术上。
