自拍也可以换成别人拍的。魔修界又出新花样了，效果实在是太感人了。智能手机的出现让摄影成为了一种流行的艺术，越来越多的人爱上了“自拍”。但自拍往往存在构图问题，例如肩部位置不自然、手臂只占画面的一小半，或者视角极其怪异。解决这个问题，你可以选择随身携带三脚架或自拍杆，也可以选择带一个摄影师朋友一起（这种方式对单身狗极其不友好）。或者，您可以选择相信后期处理的艺术。近日，来自Adob??e研究院、加州大学伯克利分校和鲁汶大学的研究人员开发了一种“自拍”到“他的镜头”的新技术，可以识别目标的姿势，并在给定的自拍背景中生成身体纹理。提炼和合成角色。在这篇论文中，研究人员提出了一种名为“Unselfie（非自拍）”的图片转换方法，可以将自拍中的人物转换成手臂、肩膀和躯干放松的“他的形象”。它向下调整所有举起的手臂，然后调整衣服细节，最后填充任何暴露的背景区域。论文链接：https://arxiv.org/pdf/2007.15068.pdf除了用于修改社交媒体上的自拍外，这项技术还有很多应用。如果你急需一张证件照，没人能帮你拍，那么这项技术就可以派上用场了。当然，这种方法还不成熟。除了一般的效果，偶尔也会有翻车的情况，比如生成这样一张图：“自拍”到“他拍”的三大挑战总的来说，“自拍”有三大挑战“heshot”：没有配对训练数据（selfie-heshotimagepair）；一个自拍姿势可能对应多个其他姿势；来填补这些漏洞。研究人员尝试用之前的几种方法来解决这个挑战，但实验结果表明，这些方法会产生明显的伪影，并且由于外观信息的高度压缩，它们的纹理细节会丢失。因此，他们提出通过合成“selfie-other”图像对和自监督学习来解决上述问题。具体来说，研究人员提出了一种从其他图像合成相应自拍图像的方法。他们使用非参数最近姿势搜索模块来检索最接近他拍摄的给定图像的自拍图像，然后合成相应的自拍。他们还在推理过程中应用了最近的姿势搜索模块。给定自拍姿势输入，模型将检索最匹配的自拍姿势，然后使用该姿势合成最终的自拍效果。合成输出有多个结果可供用户选择，解决了上述挑战2。通过以上步骤合成的配对数据可以直接用于训练有监督的人像生成网络，但实验结果表明，明显的伪影问题仍然没有得到解决。之前的各种方法对合成配对训练数据和真实自拍测试数据之间的像素级域差距非常敏感（如下图3所示）。受CVPR2019论文《Coordinate-based texture inpainting for pose-guided image generation》的启发，研究人员使用基于坐标的修复方法在UV空间中修复身体纹理，这对原始身体姿势基本不变，因此在面对合成数据的缺陷时更加稳健.此外，基于坐标的修复方法可以重复使用可见像素，从而产生更清晰的结果。为了解决挑战3，研究人员使用基于合成网络的门控卷积层来细化身体外观并填充背景间隙，同时保持身体和背景之间的平滑过渡。总的来说，为了解决“自拍”任务，研究人员提出了如下图所示的三阶段流水线：首先在数据库中搜索距离最近的其他姿势，然后进行基于坐标的身体纹理修复，最后使用合成模块用于优化结果并将它们合成到背景中。实验结果研究人员在定性评价、用户研究和定量评价方面将他们提出的方法与之前的类似方法进行了比较。下面的图7显示，与之前的DPIG和PATN方法相比，Unselfie方法生成了更逼真的人体姿势和背景。研究人员在AmazonMechanicalTurk(AMT)对这种方法以及DPIG、VUNET和PATN方法进行了用户研究。结果表明，该方法优于其他方法（如下表1所示）。由于没有对应自拍的groundtruth，他拍了一张照片，所以无法使用SSIM等指标。因此，为了定量比较该方法与其他基准方法的成像结果，研究人员使用了FID和KID两个指标。结果表明，FID和KID在定量比较中的结果与用户研究一致，该方法明显优于其他方法。方法局限性然而，该方法在以下几个方面仍然存在局限性。首先，如下图10（左）所示，对于具有挑战性的自拍姿势或角度，最近的姿势搜索模块可能难以找到匹配的其他姿势，这导致合成图像中的手臂或肩膀与头部区域相比太窄或太宽了。这个问题出现在不到10%的top-1结果中，用户通常可以从top-5结果中找到好的兼容姿势。图10：失败示例。此外，图10中的示例还暴露了背景合成的局限性。然而，针对这个问题，研究人员还在下图11中展示了使用现有模型进行图像背景恢复的示例，从而展示了在大规模数据集上训练的图像恢复模型的好处。图11：背景恢复。最后，系统在DensePose检测中容易出错。如上图10（右）所示，DensePose没有检测到她的手臂在前面。所以，合成模块仍然保留了她的手臂。
