Translator|崔浩评论|孙淑娟开篇文章中英联合研究发明了一种在视频中重塑人脸的新方法。该技术放大缩小面部结构，一致性高，无需人工修整。通常，这种面部结构的转换是通过传统的CGI方法实现的，这些方法依赖于详细且昂贵的运动封顶、绑定和纹理程序来完全重建面部。与传统方式不同，新技术中的CGI作为3D面部信息的参数集成到神经管道中，并作为机器学习工作流程的基础。作者指出：“我们的目标是根据真实世界的自然人脸，通过对其轮廓进行变形、编辑等操作，生成高质量的人像重塑视频[结果]。该技术可用于视觉效果应用等应用美化和夸大面部。虽然自Photoshop时代以来，消费者就可以使用2D面部扭曲技术（并导致了面部扭曲和身体畸形的亚文化），但无需使用CGI即可实现视频。一项艰巨的技术。由于新技术，马克扎克伯格的脸尺寸变大和缩小。身体重塑是目前计算机视觉领域的热门话题，主要是因为它在时尚电子商务中的应用。但是，仍然存在一些挑战。同样，令人信服地改变视频中人脸的形状一直是研究人员工作的核心，尽管该技术的落地一直受到人工处理和其他限制的影响。因此，新产品将之前研究的能力从静态扩展迁移到动态视频输出。新系统在配备AMDRyzen93950X和32GB内存的台式PC上进行训练，并使用OpenCV的光流算法生成运动图，并通过StructureFlow框架对其进行平滑处理；用于特征估计的面部对齐网络（FAN）组件，也用于流行的deepfakes组件包；和CeresSolver解决人脸优化问题的一个使用新系统进行人脸增强的例子。这篇论文的标题是ParametricReshapingofPortraitsinVideos，作者来自浙江大学的三位研究人员和英国巴斯大学的一位。在新系统中，提取视频形成图像序列，首先要建立人脸的基本模型。然后连接有代表性的后续帧，沿着整个图像的运行方向（即视频帧的方向）建立一致的个性参数。人脸变形系统的架构流程接下来，根据计算表达式，生成通过线性回归实现的整形参数。然后通过符号距离函数(SDF)构建面部整形前后面部轮廓的2D图。最后，对输出视频执行内容感知变形优化。人脸参数化该过程利用3D可变形人脸模型(3DMM)，这是一种基于神经和GAN的人脸合成辅助工具，适用于深度伪造检测系统。来自3D可变形面部模型(3DMM)的示例-用于新项目的参数化原型面部。左上角，3DMM表面上的标志性应用程序。右上角，isomap的3D网格顶点。左下显示特征拟合；底部中心图像，提取的面部纹理的等值图；和右下角，最终适合和形状新系统的工作流程考虑了遮挡，例如当物体移出视线时。这也是deepfake软件面临的最大挑战之一，因为FAN地标几乎无法解释这些情况，并且随着面部避开或被遮挡，它们的翻译质量往往会下降。新系统通过定义与3D面(3DMM)和2D面（由FAN界标定义）的边界相匹配的“轮廓能量”来避免这个问题。系统优化的应用场景是实时变形，比如视频聊天的滤镜中实时改变脸型。目前，框架无法做到这一点，因此提供必要的计算资源以实现“实时”变形是一项重大挑战。根据论文的假设，24fps视频相对于每秒素材在流水线中每帧操作有16.344秒的延迟，同时还伴随着一次命中进行特征估计和3D面部变形（321ms和160毫秒）。.因此，优化在减少延迟方面取得了关键进展。由于跨所有帧的联合优化会增加大量开销，并且初始化式优化（假设整个说话人特征一致）可能导致异常，因此作者采用稀疏模式来计算以实际间隔采样的帧的系数。然后对这个帧子集执行联合优化，从而导致更简化的重建过程。本项目中使用的变形技术改编自作者2020年的作品DeepShapelyPortraits(DSP)。DeepShapelyPortraits，2020年提交给ACMMultimedia。该论文由浙江大学-腾讯游戏与智能图形创新技术联合实验室的研究人员领导，观察到“我们将这种方法从重塑单目图像扩展到重塑整个图像序列。”可比的历史数据来评估新方法。因此，作者将他们的弯曲视频输出帧与静态DSP输出进行了比较。作者针对来自DeepShapelyPortraits的静止图像测试新系统，注意到DSP方法由于使用稀疏地图而遭受伪影——新框架使用密集地图解决了这个问题。此外，该论文认为DSP制作的视频缺乏流畅性和视觉连贯性。作者指出：“结果表明，我们的方法可以稳定连贯地生成重塑后的人像视频，而基于图像的方法很容易造成明显的闪烁伪影（人工修改痕迹）。”译者介绍崔浩，51CTO社区编辑，高级架构师，拥有18年软件开发和架构经验，10年分布式架构经验。他曾经是惠普的技术专家。乐于分享，撰写了多篇阅读量超过60万的热门技术文章。《分布式架构原理与实践》作者。原标题：RestructuringFacesinVideosWithMachineLearning，作者：MartinAnderson
