最近网上刷爆了一段来自谷歌的AI夜景拍摄视频！视频中的技术叫做RawNeRF，顾名思义，它是NeRF的新变种。NeRF是一个全连接的神经网络，它使用2D图像信息作为训练数据来还原3D场景。与之前的NeRF相比，RawNeRF有很多改进。它不仅可以完美降低噪点，您还可以改变相机视角，调整焦距、曝光和色调映射。谷歌这篇论文发表于2021年11月，被CVPR2022录用。项目地址：https://bmild.github.io/rawnerf/深夜RawNeRF在此之前，NeRF使用色调映射的低动态范围LDR图像作为输入.相反，谷歌的RawNeRF直接在线性原始图像上进行训练，它保留了场景的完整动态范围。在合成视图的世界中，处理深色照片一直是一个挑战。因为在这种情况下，图像中的细节很少。这些图像让我们很难将新的视图拼接在一起。幸运的是，我们有了新的解决方案——使用原始传感器（RAWsensordata）数据。只是一张这样的照片，所以我们有更多的细节。但是，仍然存在一个问题：噪音太大。所以我们必须做出选择：选择更少的细节和更少的噪音，或者选择更多的细节和更多的噪音。好消息是：我们可以使用图像降噪技术。可以看到，去噪后的图像很好，但质量不足以合成视图。然而，图像去噪技术给我们提供了一个思路：既然单张图像可以去噪，那么一组图像也可以去噪。我们来看看RawNeRF的效果。而且，它还有更多惊人的功能：色调映射底层数据以从黑暗图像中提取更多细节。例如改变图像的焦点以创建很大的景深效果。更何况，这还是实时的。另外，画面的曝光度也会随着对焦的不同而发生相应的变化！接下来，让我们看看RawNeRF的五个经典应用场景。五个经典场景1.图像清晰度看这张图，你能看清路标上的信息吗？可以看出，经过RawNeRF处理后，路牌上的信息清晰了许多。在下面的动画中，我们可以清楚地看到原始NeRF技术与RawNeRF在图像合成上的区别。其实所谓的NeRF并不是什么很古老的技术，才2年而已……可以看出RawNeRF在高光处理上表现的非常好，我们甚至可以在车牌周围看到右下角突出显示发生变化。2.镜面高光镜面高光是非常难捕捉的物体，因为它在相机移动时变化很大，照片之间的相对距离也比较远。这些因素对学习算法都是巨大的挑战。下图可以看到，RawNeRF生成的镜面高光可以说是相当还原了。3.薄结构即使在光线充足的场景中，以前的技术也不能很好地显示栅栏。而且即使RawNeRF处理带有一堆栅栏的夜景照片，它也能妥善处理。即使在围栏和车牌重叠的地方，效果依然不错。4.路面的镜面反射是更具挑战性的镜面高光。可以看到RawNeRF也处理的很自然，很逼真。5.改变焦距，调整曝光在这个场景中，让我们尝试改变视角，不断改变焦距，同时调整曝光。以前，要完成这些工作，我们需要25到200张照片的集合。现在，我们只需要几秒钟就可以完成拍摄。当然，现在的RawNeRF并不完美，我们可以看到左边的RawNeRF图像和右边的真实照片还是有一些区别的。然而，RAWnerf已经从一组嘈杂的原始图像中走了很长一段路。要知道，两年前的技术完全做不到这一点。RAW的好处简单回顾一下，NeRFtrainingpipeline接收相机处理过的LDR图像，后续的场景重建和视图渲染都是基于LDR颜色空间。因此，NeRF的输出实际上是经过后处理的，不可能对其进行大范围的修改和编辑。相比之下，RawNeRF直接在线性原始HDR输入数据上进行训练。生成的渲染图可以像任何原始照片一样进行编辑、更改焦点和曝光等。由此产生的好处主要有两方面：HDR视图合成和降噪处理。在亮度变化极大的场景中，固定的快门速度不足以捕捉完整的动态范围。RawNeRF模型可以优化短曝光和长曝光以恢复完整的动态范围。比如（b）这样的大光比场景，需要更复杂的局部色调映射算法（比如HDR+后处理）来同时保留暗部的细节和室外的高光。此外，RawNeRF可以使用线性颜色渲染具有正确饱和“模糊”高光的合成散焦效果。在图像噪声的处理上，作者在完全未经处理的HDR线性原始图像上进一步训练了RawNeRF，将其变成了一个可以处理几十张甚至上百张输入图像的“降噪器”。这种稳健性还意味着RawNeRF可以出色地重建黑暗中的场景。例如，在(a)这个只有一根蜡烛照亮的夜景中，RawNeRF可以从嘈杂的原始数据中提取细节，否则这些细节会被后处理(b,c)破坏。该论文的第一作者本·米尔登霍尔(BenMildenhall)是谷歌研究院的一名研究科学家，致力于计算机视觉和图形学方面的研究。他于2015年获得斯坦福大学计算机科学和数学学士学位，2020年获得加州大学伯克利分校计算机科学博士学位。刚刚结束的CVPR2022可以说是Ben的高光时刻。7篇录用论文中有5篇获得Oral，其中一篇被评为最佳学生论文。网友对视频的评论一出，顿时让不少网友惊叹不已。让我们一起集思广益。看科技进步的速度，用不了多久就不用再为晚上拍照发愁啦~
