爱自拍的女生，拍出一张美美的照片总是需要很长的时间，只为找到最美的角度。比如这个女孩在她的书架前自拍了4张，但没有一张是满意的。现在你可以把选择最美角度的事情交给AI，让妹子不再烦恼。只需几张照片，它就可以从各个角度生成自拍照。然后，你可以在AI生成的视频中，找出一个你认为最美的角度，分享到你的朋友圈。这个人工智能是由华盛顿大学和谷歌联合开发的nerfies。这种方法不需要太复杂的设备，只要手机的摄像头和CPU就可以完成计算和渲染。这比iPhone12Pro内置激光雷达生成3D图像的成本要低得多。看到nerfies这个名字是不是觉得很眼熟？Nerfies实际上是NeRF+Selfies这两个词的组合。NeRF（NeuralRadiationField）是谷歌最近开发的一种2D图像转3D模型，但NeRF要求主体在整个过程中保持完全静止。比如上图妹子自拍4张的时候，头部姿势难免会发生变化。如果直接应用NeRF，效果会很糟糕。nerfies是可变形神经辐射场（DeformableNeRF），可以重建非刚性变形场景。作者在NeRF的基础上，从几何和物理模拟原理提出了NeRF的弹性正则化，进一步提高了2D到3D的鲁棒性。在可变性NeRF中，作??者引入了弹性正则化、背景正则化和避免不良影响的局部最小退火技术。作者将潜在变形代码(ω)和外观代码(ψ)与每个图像相关联。在观察框架中跟踪相机光线，并使用变形场将样本沿光线转换为规范框架，变形场由变形代码ω编码到MLP中。此外，变换后的样本位置（x0，y0，z0），观察方向（θ，φ）和外观代码ψ作为MLP的输入，查询模板NeRF模块并沿射线整合样本。更多游戏玩法可变性NeRF不仅可以用于自拍，还可以用于更多有趣的用途。例如，创造过去需要特殊摄影技巧的“希区柯克变焦”效果，或通过由远及近拍摄视频进行后期处理。现在只需几张照片即可。如果你不需要改变场景的角度，但你需要改变角色的姿势怎么办？可变性NeRF可以在头部左右之间线性插值任意姿势的照片。最后还有一个用途就是生成防抖视频。现在可变性NeRF可以从任何角度生成图像，现在可以让手负责抖动并让它负责稳定。目前作者还没有放出源码，但是GitHub的按钮已经放在了他们的项目主页上，看来他们准备开源了。迫不及待想尝试一下？项目地址：https://nerfies.github.io/论文地址：https://arxiv.org/abs/2011.12948
