打光是图像处理过程中的重要一步，打光的好坏可能会影响整体效果的显示。照明方法也不同。麻省理工学院、谷歌等的一项新研究发现了一种通过神经光传输方法对图像进行二次光照和视图合成的新方法，取得了相当不错的效果。图像构图并不是一个新话题，但“打光”却是所有照片的难题。对于人类摄影师来说，打光是一件非常复杂的事情，那么如何解决合成图像中的打光问题呢？最近，来自麻省理工学院、谷歌和加州大学圣地亚哥分校的研究人员进行了一项研究，试图通过神经光传输（NeuralLightTransport，NLT）对图像进行重光照和视图合成。那么，本研究中提出的NLT方法的效果如何？研究人员在多个场景下进行了测试，包括DirectionalRelighting、基于不同图像背景的光照、基于不同相机路径的视图合成后的光照效果等等。效果看起来不错，但是有点像鬼片……（打颤具体来说，在DirectionalRelighting场景下，NLT实现了如下效果：在image-basedRelighting场景中，角色的光照效果随着背景图片并不断调整：那么在视图合成时效果如何呢？同时进行二次光照和视图合成呢？NLT方法是如何实现这样的效果的？.IntroductiontoNeuralLightTransmission(NLT)Paper论文地址：https://arxiv.org/pdf/2008.03806.pdf项目页面：http://nlt.csail.mit.edu/LightTransport(LT)ofaScene描述whatascenelookslikewithdifferentlightingandviewingdirections,对场景LT的全面了解有助于在任意照明条件下合成新视图。本文探索了基于图像的LT采集，主要针对照明平台设置中的人体。研究人员提出了一种半-parametricmethod，学习嵌入在具有已知几何属性的纹理图集空间中的LT的神经表示，并将所有非漫反射和全局LT建模为残差，这些残差被添加到物理上准确的漫反射基础渲染中。具体而言，该研究展示了如何融合先前观察到的光源和视图，以根据选定的视点和所需的照明条件合成同一场景的新图像。这种策略允许网络学习复杂的材料效果（例如次表面散射）和全局照明，同时保持物理上正确的漫反射LT（例如硬阴影）。有了这个学习到的LT，我们可以使用定向光或HDRI贴图真实地重新照亮场景，合成具有视图相关效果的新视图，或者使用一组稀疏的先前观察到的结果统一在帧中执行重新照明和视图合成同一时间。该研究通过定性和定量实验表明，NLT方法优于当前最先进的重新照明和视图合成解决方案，并且不需要像以前的工作那样单独处理这两个问题。NLT方法的一般流程。这项研究的主要贡献是：提出了一种端到端的半参数方法，使用从真实数据中学习的卷积神经网络对每个对象的6D光传递函数进行插值。通过将网络嵌入参数化纹理图集并利用一组一次一光(OLAT)图像作为输入，实现了可以同时执行重新照明和视图合成的统一框架。提出了一组增强的纹理空间输入和基于物理精确漫反射基板的残差学习机制，使网络能够轻松学习非漫射、高阶光传输效应（包括镜面高光）、次表面散射和全局照明.NLT方法研究人员使用的框架是具有残差学习机制的半参数模型，旨在减少几何代理的漫反射渲染与实际输入图像之间的真实感差距，如下图2所示。半参数方法用于融合先前记录的观察结果，以在任何预期的光照和视角下生成新的逼真图像。该方法受益于计算机视觉领域的最新进展，使研究人员能够实现人类受试者的准确3D重建。图2：之前的Relightables方法（Guoetal.,2019）、本研究提出的NLT方法与真实图像之间的真实感差距。NLT方法的模型架构如下图4所示：模型网络包含两条路径，即查询路径（QueryPath）和观察路径（ObservationPath）。其中，“观察路径”将根据目标光源和观察方向采样的K个附近的观察结果（作为纹理空间残差图）作为输入，编码成多尺度特征，最后将这些特征池化以消除订单和数量相关。然后将这些合并的特征连接到“查询路径”上的特征激活函数，该函数将预期的光源和观察方向（表示为余弦图）和物理上准确的漫反射基础（也在纹理空间中）作为输入。查询路径预测残差图，然后将其添加到漫反射基础中以产生纹理渲染结果。由于整个网络嵌入在人体物体的纹理空间中，我们可以在输入和监督信号上训练相同的模型来分别或同时执行重新照明和视图合成。二次照明的实验结果如下表3所示。研究人员定量评估了NLT方法和其他二次照明基线方法，例如DiffuseBase、BarycentricBlending和DeepShading。PSNR（峰值信噪比）、SSIM（结构相似度）和LPIPS（学习感知相似度）作为评估指标。此外，研究人员还对NLT方法进行了控制变量研究。结果表明，NLT方法优于所有基线方法，但DiffuseRendering和BarycentricBlending等简单基线方法也取得了高分。表3：NLT与其他SOTA重新照明方法的指标比较以及NLT控制变量的结果。图7：在使用平行光的二次照明任务中，NLT、其他方法和地面实况图像的比较。视图综合显示在下面的表4中。研究人员定量分析了NLT和其他基线二次照明方法的视图合成效果。结果表明，NLT优于所有基线方法，效果可以与Thies等人进行比较。(2019)所提出的仅执行视图合成而不重新照明的方法具有可比性。表4：NLT与其他基线重新照明方法之间的视图合成指标比较。图9：NLT、其他基线方法和地面实况图像之间的视图合成性能比较。图10：同时执行的重新照明和视图合成演示。性能分析最后，研究人员分析了NLT方法在不同因素下的性能。结果表明，随着几何退化，本研究中使用的神经渲染方法始终优于严重依赖几何质量的传统重投影方法。在执行二次照明时，研究人员还证明了NLT方法在光源数量减少的情况下效果相当好，这表明NLT方法也可能适用于较小的照明平台。控制变量研究如下图13所示。研究人员对二次光照任务进行了NLT方法的控制变量研究。结果表明，移除模型的不同组件会不同程度地降低渲染质量。失败案例当然，NLT方法在视图综合中也有失败案例。如下图14所示，NLT方法可能无法生成复杂光传输效果的真实视图，例如戴在脖子上的项链的视图。
