神经辐射场（NeRF），这是一种可以创建人工智能生成的3D环境和3D对象的技术。但是这种新的图像合成技术需要大量的训练时间，并且缺乏支持实时、高响应接口的实现。然而，公司和学术界已经为这一挑战提供了一个新的思路——NovelViewSynthesis(NVS)。最近一篇名为NeuralLumigraphRendering的研究论文声称可以将现有图像提高2个数量级，展示了通过机器学习管道实现实时CG渲染的几个步骤。与以前的方法相比，神经光照贴图渲染提供了更好的混合伪影分辨率和改进的遮挡处理。除了斯坦福大学和全息显示技术公司Raxium的研究人员外，该论文的贡献者还包括谷歌的首席机器学习架构师、Adobe的计算机科学家和StoryFile的首席技术官。体积捕获的工作原理是拍摄对象的静止图像或视频，并使用机器学习来“填充”原始文档未涵盖的视点。上图取自FacebookAI2019AIresearch，可以看出volumecapture有四个阶段：1多个摄像头获取图像/图片；2编码器/解码器架构（或其他架构）计算并连接视图的相关性；3、光线行进算法计算空间中每个点的体素（或其他XYZ空间几何单位）；4.训练综合一个完整的实体，可以实时操作。迄今为止，正是这种数据密集型训练阶段将新视图合成推向了实时或高响应捕获领域之外。事实上，新的视图合成制作了体积空间的完整3D地图，这意味着它将点缝合到传统的计算机生成的网格中，有效地捕获和链接实时CGI角色。使用NeRF的方法依赖点云和深度图在捕获设备的稀疏视点之间进行插值：尽管NeRF能够计算网格，但大多数方法不使用它来生成体积场景。相比之下，魏茨曼科学研究所于2020年10月发布的隐式可微分渲染(IDR)方法依赖于利用捕获阵列自动生成的3D网格信息。虽然NeRF缺乏IDR的形状估计能力，但IDR的图像质量无法与nerf媲美，两者都需要大量的资源去训练和整理。NLR的定制相机装备具有16个GoProHERO7和6个中央Back-BoneH7PRO相机。对于实时渲染，它们至少以60fps的速度运行。相比之下，NeuralOpticalGraphRendering利用SIREN（正弦表示网络）将每种方法的优势整合到自己的框架中，目标是生成可直接用于现有实时图形管道的输出。在过去的一年里，SIREN已经被用于类似的场景，现在是图像合成社区中业余Colabs的流行API调用。而NLR的创新之处在于将SIREN应用于二维多视角图像监控。从阵列图像中提取CG网格后，通过OpenGL将网格光栅化，将网格的顶点位置映射到合适的像素点，然后计算各种贡献图的融合。生成的网格比NeRF的网格更具代表性，需要更少的计算，并且不会将太多细节应用到不会从中受益的区域（例如光滑的面部皮肤）：另一方面，NLR，也没有任何动态照明或重点照明功能，输出仅限于阴影贴图和照明时获得的其他信息。研究人员打算在未来的工作中解决这个问题。此外，该论文承认NLR生成的图表不如某些替代方法或上述Weizmann科学研究准确。使用神经网络从一组有限的照片中创建3D实体的想法早于NeRF，相关研究可以追溯到2007年或更早。2019年，Facebook的AI研究部门发表了一篇开创性的研究论文（Neuralvolume：LearningDynamicRenderablevolumefromImages），首次为基于机器学习的体积捕获生成的合成人启用了响应式界面。
