换脸见过不少，你见过换身的吗？给一张脸，它可以自动改变下半身，服装、身材、肤色都没有PS的痕迹：核心技术当然是我们熟悉的GAN，但不同的是，现在身体的每个部位都可以PS。身体的各个部位，包括脸、肤色、衣服、头发，甚至肢体动作，都可以随意设计组合，最后“拼接”成一张1024×1024分辨率的全身照：而这张“拼接”monster”仍然完全没有拼接行为带来的阴影和边界：△上面的人脸是用新方法生成的，很少做阴影边界。怎么做？“拼凑”GAN用于生成人体的不同部位。这是Adob??e团队提出的一种新方法，将多个预训练的GAN组合起来进行图像生成。论文已经被CVPR2022录用：我们来看看他们是如何实现的。用PS来GAN出人体我们一开始就说了，这是一种将多个GAN拼接在一起的方法，研究组称之为InsetGAN。GAN有两种：全身GAN（Full-BodyGAN），基于中等质量的数据进行训练，生成人体。PartialGAN，包含多个针对特定部位（如面部、手和脚）训练的GAN。这两类GAN的配合类似于PS：全身GAN是一张已经有了底线稿的画布，而有些GAN则是层层叠加。但是，当不同边界的“图层”堆叠在画布上时，就会出现对齐问题。例如，在给身体添加人脸时，可能会在肤色的一致性、服装边界的自然度和头发的松散度等方面出现失真和细节丢失，或者伪影（Artifacts）：如何更好地协调多个GAN，让它们产生一致的像素？研究团队设计了这样一个架构：他们首先引入了一个boundingboxdetector来检测底层canvas中部分GAN生成的特定区域的位置，也就是全身GAN生成的区域，然后嵌入裁剪后的特定区域。这个过程相当于在两个区域之间寻找一个随机的潜码，从而使所选区域的边界与嵌入区域相匹配，实现无缝合成。同时，他们也会对这两个区域进行下采样（Downsample），再次增加图像像素内容的一致性。基于这种方法，InsetGAN可以在训练后生成多个完整的人像，并且可以相应地调整肤色、头发和相关姿势：研究团队还与之前生成全身人像的方法CoModGAN进行了比较，均基于左侧显然，InsetGAN生成的人脸更自然：△InsetGAN在上，CoModGAN在下。论文共有6位作者，5位来自Adob??eResearchInstitute，1位来自KingAbdullahTechnologyUniversity(KAUST)。其中包括Adob??e首席科学家JingwanLu，PS2020中智能人像、皮肤平滑、阴影和神经风格化等滤镜的主要算法贡献者，以及RealBrush笔刷合成器的开发者。她目前领导的团队主要专注于使用大数据和生成式AI（例如GAN）来创建视觉内容。那么，你准备好足不出户改变自己的身体了吗？（手动狗头）论文地址：https://arxiv.org/abs/2203.07293
