模糊和复杂物体的高保真建模和渲染对于许多沉浸式VR/AR应用程序至关重要，其中物体和View的亮度和颜色是强相关。在本文中，上海科技大学的研究人员提出了一种使用卷积神经渲染器为模糊物体生成不透明辐射场的新方案，该方案首次将显式不透明监督和卷积机制结合到神经辐射场框架中，以实现高质量的外观并生成任意新视点的全局一致的alpha掩码。具体来说，该研究提出了一种有效的采样策略以及相机光线和图像平面，从而能够以patch-wise方式进行有效的辐射场采样和学习。同时，该研究还提出了一种新的体积特征集成方案，该方案生成每个补丁的混合特征嵌入，以重建视图一致的精细外观和不透明输出。此外，该研究进一步采用了补丁式对抗训练方案，以在自我监督框架中同时保留高频外观和不透明细节。该研究还提出了一种高效的多视图图像捕获系统，以捕获具有挑战性的模糊对象的高质量颜色和alpha图。在现有数据集和包含具有挑战性的模糊对象的新数据集上进行的大量实验表明，所提出的方法可以为各种模糊对象实现高度真实、全局一致和美观的不透明自由视图渲染。.论文地址：https://arxiv.org/abs/2104.01772本研究的主要贡献包括：提出了一种新颖的卷积神经辐射场生成方案，以重建模糊目标在高频和新视角和不透明度下的全局一致外观，并大幅超越之前的SOTA性能；为了启用卷积机制，本研究提出了一种有效的采样策略、混合特征融合和一种用于逐块辐射场学习的自监督对抗训练方案；提出了一种高效的多视图系统来捕获具有挑战性的模糊对象的颜色和alpha图，从该研究中捕获的数据集可用于激发进一步的研究。在论文中，方法框架研究人员详细介绍了新提出的卷积神经不透明辐射场(ConvNeRF)。基于捕获系统的RGBA输入，该模型能够在新视图中实现高真实度、全局一致的外观和不透明渲染，如下图所示：End-to-endConvNeRFpipelineoverviewGivenamulti-viewRGBA图像，研究人员使用SFS（Shape-From-Silhouette）来推断代理几何以实现高效的光线采样。对于体积空间中的每个样本点，位置和方向被馈送到基于多层感知器(MLP)的特征预测网络，以在全局级别表征对象。然后我们将附近的光线合并到局部特征块中，使用卷积体渲染器将其解码为RGB和掩码。他们在最终输出上使用对抗训练策略来诱导精细的表面细节。在参考阶段，该方法一次渲染整个图像，而不是渲染每个补丁。该方法的主要思想是使用空间卷积机制对不透明度信息进行显式编码，以改进神经辐射场法（NeRF）对高频细节进行建模。受NeRF的启发，研究人员采用类似的隐式神经辐射场来表示场景，使用多层感知器和体积积分来预测沿投射光线方向的密度和颜色值。不同的是，ConvNeRF通过空间卷积设计进一步显式编码不透明度，以显着改善神经辐射场重建。为此，研究人员首先提出了一种高效的采样策略，该策略不仅利用沿相机光线的先验固有轮廓，而且还对整个图像平面的空间信息进行编码。然后使用全局几何表示将3D位置映射到高级辐射特征，并使用新颖的体积融合方案生成每个补丁的混合特征嵌入，分别对外观和不透明度特征进行建模，从而产生一种补丁方式的方法为了更有效的辐射场学习。最后，我们使用轻量级U-Net将特征块解码为视图一致的外观和不透明度输出，并进一步采用patch-wise对抗训练方案在自监督框架中保留高频外观和不透明度细节。捕获系统本研究中使用的捕获系统能够生成高质量的多视图RGBA图像，用于具有挑战性的模糊对象的显式不透明度建模。如下图捕获系统概览图所示，该方法的流水线配备了易于使用的捕获设备和稳定的验证和自动抠图方法。实验结果本研究在各种毛茸茸的物体上评估了ConvNeRF。定量和定性评估实验的结果表明，与以前的工作相比，所提出的方法可以更好地保留高保真外观细节并在任意新视图中生成全局一致的alpha掩码。该研究进一步进行了消融实验，以验证该方法的设计选择。如下图6所示，在Cat、Girl和Wolf数据集上，研究人员将该方法与IBOH、NOPC和NeRF的自由视点RGB进行了比较。结果发现，该方法能够重建几何和外观的精细细节，例如猫皮毛的纹理、女孩靴子上的图案以及狼皮毛的几何细节，同时保持几何的全局视图一致性。IBOH表现出重影和混叠，NOPC表现出过度模糊和几何细节丢失，而NeRF表现出过度噪声和模糊。下面的图7显示了该方法与IBOH、NOPC和NeRF的自由视点Alpha在Cat和Hairstyle2数据集上的比较。结果发现，该方法可以从视线不一致的alpha蒙版（例如猫须）中恢复缺失的不透明度部分，如第一行所示，而IBOH会因严重的伪影而失败。这种方法可以产生比NOPC更锐利的alpha掩码，后者会在头发周围产生严重的伪影。NeRF在具有挑战性的Hairstyle2数据集上失败了。在定量评价方面，研究人员以PSNR、LPIPS、SSIM为指标对几种方法进行了定量评价。如下表1和表2所示，ConvNeRF在RGB和alpha结果上都取得了显着的性能提升。下面的表3显示了该方法实现SOTA性能的半透明（即0<α<1）区域上所有数据集的平均PSNR。
