2020年是体积神经渲染爆发的一年。需要针对每个场景进行优化，导致重建时间较长。另一方面，深度多视图立体方法可以通过网络推理快速重建场景几何。南加州大学和Adob??eResearch的研究人员提出了Point-NeRF，它使用神经3D点云和相关神经特征，结合立体神经渲染和深度多视图立体方法的优点来模拟辐射场。在这篇论文中，一个完整的点云是从1000个点开始开发的：通过逐步优化初始COLMAP点的渲染结果：在基于光线行进的渲染管道中，通过聚合场景表面附近的神经点特征，Point-NeRF可以是有效渲染。此外，Point-NeRF可以通过预训练的深度网络的直接推理来初始化，以产生神经点云；这个点云可以微调，训练时间比NeRF快30倍，重建视觉质量超过NeRF。Point-NeRF可以与其他3D重建方法相结合，并通过一种新颖的修剪和生长机制处理这些方法中的错误和异常值。在DTU、NeRFSynthetics、ScanNet和TanksandTemples数据集上的实验表明，Point-NeRF可以胜过现有方法并取得SOTA结果。论文地址：https://arxiv.org/pdf/2201.08845.pdf论文主页：https://xharlie.github.io/projects/project_sites/pointnerf/Point-NeRFPoint-NeRF是一种基于点的神经辐射场，它是一种用于高质量神经场景重建和渲染的新方法，图2（b）是架构图：体积渲染和辐射场：基于物理的体积渲染可以通过可微分的光线行进进行数值计算。具体来说，可以通过使光线穿过像素，沿光线在{x_j|中采样M个着色点来计算像素的辐射度。j=1,...,M}，用体积密度累加辐射率，例如：这里τ表示体积透射率，σ_j和r_j是各色点j在x_j处的体积密度和辐照度，Δ_t为相邻颜色样本之间的距离。NeRF建议使用多层感知器(MLP)来回归此类辐射场。本研究中提出的Point-NeRF利用神经点云计算体积特性，从而实现更快、更高质量的渲染。基于点的辐射场：本研究使用P={(p_i,f_i,γ_i)|i=1,...N}来表示神经点云，其中P_I处的每个点都是i，神经特征向量编码关联本地场景内容f_i。该研究还为每个点分配了一个置信度值γ_i∈[0,1]，表示该点位于实际场景表面附近的可能性。该研究从该点云中检索辐射场。给定一个任意的3D位置x，查询半径R内的K个相邻神经点。基于点的辐射场可以抽象为一个神经模块，它回归视觉相关的亮度r（沿着任何视觉方向d）和体积密度σ在来自相邻神经点的任何阴影位置x如下：该研究使用具有多个子MLP的类PointNet神经网络进行回归。总体而言，该研究首先对每个神经点进行神经处理，然后聚合来自多个点的信息以获得最终估计。Point-NeRF重建Point-NeRF重建管道可用于有效地重建基于点的辐射场。首先，使用跨场景训练的深度神经网络通过直接网络推理生成基于点的初始场。这个初始场通过点生长和修剪技术针对每个场景进一步优化，从而产生最终的高质量辐射场重建。图3显示了此工作流程以及用于初始预测和场景细化的相应梯度更新。给定一组已知图像I_1,...,I_Q和点云，可以通过优化随机初始化的每点神经特征和具有渲染损失的MLP（类似于NeRF）来重建Point-NeRF表示。然而，这种纯粹的逐场景优化依赖于现有的点云并且可能非常缓慢。因此，本研究提出了一种神经生成模块，通过前馈神经网络预测所有神经点属性，包括点位置p_i、神经特征f_i和点置信度γ_i，以实现高效重建。在一小部分时间内，渲染质量比NeRF更好或相当，而NeRF需要更长的时间进行优化（见表1和2）。End-to-EndReconstruction：本研究结合多视点云来获得最终的神经点云。该研究使用渲染损失从头到尾训练点生成和表示网络（见图3），这允许生成模块产生合理的初始辐射场。该研究还使用合理的权重在Point-NeRF表示中初始化MLP，从而显着节省每个场景的拟合时间。此外，除了使用完整的生成模块外，研究流程还支持使用其他方法（如COLMAP[44]）的点云重建，其中模型（不包括MVS网络）仍然可以为每个模型提供有意义的信息观点。初始神经特征。实验该研究首先在DTU测试集上评估模型，比较PixelNeRF、IBRNet、MVSNeRF和NeRF，并用10k迭代微调所有方法以进行比较。此外，本研究仅使用1k次迭代来证明Point-NeRF优化的效率。具体结果如下：表1为不同方法的量化对比，对比内容包括PSNR、SSIM、LPIPS，图6为渲染结果。从结果可以看出，经过10k次迭代后，SSIM和LPIPS取得了最好的结果，分别为0.957和0.117，优于MVSNeRF和NeRF的结果。IBRNet产生的PSNR结果稍好一些，为31.35，但Point-NeRF可以恢复更准确的纹理细节和高光，如图6所示。另一方面，IBRNet的微调成本也更高。同样的迭代次数比Point-NeRFfine-tuning多花1个小时，是5倍的时间。这是因为IBRNet依赖于一个大的全局CNN，而Point-NeRF利用的是局部点特征，MLP更容易优化。更重要的是，基于点的表示靠近实际场景表面，避免了在空场景中采样光线点，实现了高效的逐场景优化。虽然IBRNet中更复杂的特征提取器可以提高质量，但它会增加内存使用量并影响训练效率。更重要的是，Point-NeRF生成网络已经提供了高质量的初始辐射场来支持高效优化。研究发现，即使经过2min/1K迭代的微调，Point-NeRF也能达到非常高的视觉质量，与MVSNeRF最终10k迭代的结果不相上下，这也展示了Point-NeRF的高重构效率方法。性别。尽管Point-NeRF是在DTU数据集上训练的，但它可以很好地泛化到新数据集。本研究展示了Point-NeRF与其他SOTA方法在NeRF合成数据集中的比较结果。定性结果如图7所示，定量结果如表2所示。实验结果表明，Point-NeRF_20K显着优于IBRNet结果，具有更好的PSNR、SSIM和LIPIPS；该研究还实现了具有更好的几何和纹理细节的高质量渲染，如图7所示。不同场景的比较：20K迭代后的Point-NeRF与200K迭代训练后的NeRF非常接近。从视觉上看，Point-NeRF在经过20K次迭代后，在某些情况下已经有了更好的渲染结果，例如图7中的Ficus场景（第四行）。Point-NeRF_20K优化只用了40分钟，而NeRF需要20多个小时。两者相比，Point-NeRF快了近30倍，但NSVF的优化效果只比Point-NeRF的40分钟略好。如图7所示，Point-NeRF200K结果包含最多的几何和纹理细节，该方法是唯一可以完全恢复的方法。
