目前的图像3D重建工作通常采用在恒定条件下从多个视点（multi-view）捕捉目标场景的方法自然光照条件下的多视角立体重建法（Multi-viewStereo）。然而，这些方法通常假设Lambertian表面并且难以恢复高频细节。另一种场景重建方法是利用以固定视点但不同点光源捕获的图像。例如，光度立体方法采用此设置并使用其着色信息来重建非朗伯对象的表面细节。然而，现有的单视图方法通常使用法线图或深度图来表示可见表面，这使得它们无法描述物体背面和遮挡区域，只能重建2.5D场景几何。此外，法线贴图无法处理深度不连续性。在最近的一项研究中，来自香港大学、香港中文大学（深圳）、南洋理工大学和麻省理工学院-IBM沃森人工智能实验室的研究人员提出了一种单视角、多光图像，重建完整的3D场景。论文链接：https://arxiv.org/abs/2210.08936论文主页：https://ywq.github.io/s3nerf/代码链接：https://github.com/ywq/s3nerf和已有的基于法线图的与深度图的单视图方法不同，S3-NeRF是基于神经场景表示，利用场景中的阴影和阴影信息来重建整个3D场景（包括可见/不可见区域）。神经场景表示方法使用多层感知器(MLP)对连续3D空间进行建模，将3D点映射到场景属性，如密度、颜色等。尽管神经场景表示在多视图重建和新视图合成方面取得了重大进展，在单视图场景建模中探索较少。与现有神经场景表示方法依赖多视角照片的一致性不同，S3-NeRF主要是利用单视角下的明暗和阴影信息来优化神经场。我们发现，简单地将光源位置信息直接作为输入引入NeRF无法重建场景的几何形状和外观。为了更好地利用捕获的光度立体图像，我们使用反射场对表面几何和BRDF进行显式建模，并采用基于物理的渲染来计算场景中通过立体渲染获得的3D点的颜色。射线（ray）对应的二维像素的颜色。同时，我们对场景的可见性进行可微分建模，通过追踪3D点与光源之间的光线来计算点的可见性。然而，考虑到一条射线上所有样本点的可见性的计算成本很大，我们通过计算通过射线追踪获得的表面点的可见性来优化阴影建模。基于神经反射场的场景表示我们采用类似UNISURF的占用场来表示场景几何。UNISURF通过MLP将3D点坐标和视线方向映射到点的占用值和颜色，通过立体渲染得到像素点的颜色，Nv是每条射线上的采样点数。为了有效利用光度立体图像中的阴影信息，S3-NeRF显式地对场景的BRDF进行建模，并使用基于物理的渲染来获取3D点的颜色。同时，我们对场景中3D点的光照可见性进行建模，以利用图像中丰富的阴影线索，并通过以下公式获得最终像素值。基于物理的渲染模型我们的方法考虑了非朗伯表面和空间变化的BRDF。在近场点光源（pl，Le）下从视线方向d观察到的点x的值可以表示为其中，我们考虑点光源的光衰问题，计算入射点在该点受光源之间的距离和点光强度的影响。我们使用考虑漫反射和镜面反射的BRDF模型，通过球体高斯基础的加权组合来表示镜面反射率阴影建模阴影是场景几何重建中最重要的线索之一。图中的三件物品，正面看形状相同，背面看形状不同。通过不同光照下产生的阴影，我们可以观察到阴影的形状是不同的，反映了前视图中不可见区域的几何信息。光线通过背景中反射的阴影对物体的背面轮廓产生一定的约束。我们通过计算3D点光源之间的占用值来反映点的光可见性，其中NL是点光源线段上采样的点数。由于计算沿射线采样的所有Nv个点的可见性(O(NvNL))的计算成本很高，现有的一些方法使用MLP直接返回点的可见性(O(Nv))，或者获取场景几何。预提取曲面点(O(NL))。S3-NeRF通过寻根定位的表面点，在线计算像素点的光学可见度，通过以下公式表示像素值。场景优化我们的方法不需要阴影监督，而是依靠图像重建损失来进行优化。考虑到单个视角没有其他视角带来的额外约束，如果采用类似UNISURF的采样策略逐渐缩小采样范围，那么模型会在采样间隔缩小后开始退化。因此，我们采用联合立体渲染和表面渲染的策略，利用寻根得到的表面点进行颜色渲染，计算L1损失。实验结果与神经辐射场方法的比较我们首先与两种基于神经辐射场的基线方法进行比较（由于任务不同，我们在它们的颜色MLP中引入了光源信息）。可以看出，它们无法重建场景几何体，也无法在新光照下准确生成阴影。与单视图形状估计方法的比较从与现有单视图法线/深度估计方法的比较可以看出，我们的方法在法线估计和深度估计方面都取得了最好的结果，并且能够重建可见和不可见区域现场。具有不同背景的场景重建我们的方法适用于具有不同背景条件的各种场景。新视图渲染、变光照、材质编辑基于神经反射场场景建模，我们成功解耦了场景的几何/材质/光照，因此可以应用于新视图渲染、变场景光照、材质编辑等应用.真实拍摄场景的重构我们拍摄了三个真实场景来探索其实用性。我们固定相机位置，使用手机手电筒作为点光源（环境光源关闭），随机移动手持手电筒，在不同光源下拍摄图像。此设置不需要光源校准，我们应用SDPS?Net粗略估计光源方向，并粗略估计相机-物体和光源-物体的相对距离以初始化光源位置。光源的位置在训练期间与场景的几何形状和BRDF联合优化。可以看出，即使使用更随意的数据捕获设置（没有对光源进行校准），我们的方法仍然可以很好地重建3D场景几何。总结S3-NeRF通过利用在单个视图中的多个点光源下捕获的图像来优化神经反射场以重建3D场景几何和材料信息。S3-NeRF通过使用阴影和阴影线索，可以有效地还原场景中可见/不可见区域的几何形状，实现单目视角下完整场景几何形状/BRDF的重建。各种实验表明，我们的方法可以重建具有各种复杂几何/材料的场景，并且可以应对各种几何/材料背景和不同的光照量/光源分布。
