从2D到3D效果。看，小男孩可爱的笑容立马出现：吹灭生日蛋糕蜡烛的瞬间也还原了：咧嘴笑的过程也很治愈~说说吧，这次是熊/毛男孩的图相机上的废胶卷终于有救了！而且看不出是后期合成的效果，就好像是原版拍的一样。这是谷歌、康奈尔大学和华盛顿大学最近联合推出的成果。仅需两张相似照片即可还原3D瞬间，已收录CVPR2022。论文第一和第二作者均为中国人，第一作者姐姐浙江大学本科毕业。用2张照片前后预测中间场景这种方法适用于两张非常相似的照片，比如连拍产生的一系列照片。该方法的关键是将2张图像转换为一对基于特征的分层深度图像(??LDI)，并通过场景流对其进行增强。整个过程可以将两张照片分别作为“起点”和“终点”，然后逐渐预测两者之间每个时刻的变化。具体过程如下：首先将两张照片用homegraph对齐，分别预测两张照片的densedepthmap。然后将每个RGBD图像转换为彩色LDI，以用深度感知修复背景的遮挡部分。其中，RGB图像为普通RGB图像+深度图像。然后用二维特征提取器对LDI的每个颜色层进行修复，得到特征层，从而生成两个特征层。下一步是模拟场景的运动。通过预测两个输入图像之间的深度和光流，可以计算出LDI中每个像素的场景流。而如果要在两幅图像之间渲染一个新的视图并升级到3D，则需要将两组具有特征值的LDI升级为一对3D点云，并沿着场景流向两个方向移动到中间时间点。然后，将三维特征点投影展开，形成正向和反向二维特征图和对应的深度图。最后将这些映射与时间轴中对应时间点的权重进行线性混合，将结果传递给图像合成网络得到最终的效果。从数据上看，实验结果表明该方法在所有误差指标上均高于基线水平。在UCSD数据集上，这种方法可以保留图片中更多的细节，如图（d）所示。NVIDIA数据集上的消融实验表明该方法在提高渲染质量方面也非常出色。但也存在一些问题：当两幅图像之间的变化比较大时，会出现物体错位的现象。比如下图中的酒瓶口动了，不该换的酒杯也晃动了。还有，如果不是所有地方都拍的照片，合成时难免会出现“截肢”，比如下图中喂考拉的手。论文地址：https://3d-moments.github.io/
