当前位置: 首页 > 科技观察

人工智能从父母照片中合成可能的孩子脸,深度学习亲属关系生成

时间:2023-03-13 05:21:12 科技观察

人工智能从父母照片中合成可能的孩子脸,深度学习亲属关系生成摘要:在本文中,我们提出了一个亲属关系生成器网络,一个可能的孩子脸可以是通过分析他/她父母的照片合成。为此,我们通过提出新颖的解决方案,专注于解决整篇论文中亲属关系数据集的稀缺性。为了提取可靠的特征,我们将预训练的人脸模型集成到亲属关系人脸生成器中。此外,生成器网络使用额外的人脸数据集和对抗性损失进行正则化,以减少有限样本的过度拟合。***,我们调整了周期域转换以获得更稳定的结果。实验是在野外家庭(FIW)数据集上进行的。实验结果表明,与基线结构相比,文献中提出的贡献提供了重要的性能改进,并且我们提出的方法产生了有希望的感知结果。人工智能从父母照片中合成可能的子脸,深度学习亲属关系生成简介:人脑可以通过分析面部部位的分化模式来验证照片中的亲属关系。这个特征有力地证明了大脑是多么复杂。最近,已经提出了大量方法来在计算机中实现亲属关系验证,因为基于学习的深度模型已经显示出令人印象深刻的能力,可以自动从人脸中提取这些潜在模式[22、18、8]。特别是,这些方法在各种识别问题上的表现优于人类[17、22]。最终,该模型的输出可用于识别失踪人员、儿童/父母搜索,并跟踪推荐服务的一些统计数据。然而,通过分析他们的父母照片来猜测可能的孩子的面孔,相反,更直观地看待问题并不是最初问题(即识别和验证)的动机。据我们所知,解决这个问题的兴趣也有限[10],尽管有几种有前途的方法可以基于生成的深度模型从大型数据集中合成人脸。AIsynthesispossiblechildfacesfromparentalphotos,deeplearningkinshipgenerationcontribution:一般来说,这个问题的目的(即合成亲属面孔)是,对于给定的父母照片输入(母亲或父亲),一种方法合成通过使用潜在面孔,孩子最可能代表父母的面孔。然而,模型的鲁棒性,尤其是深度模型的鲁棒性,在很大程度上取决于训练样本的数量和数据集的多样性。此外,目前可用于亲属关系验证的数据集相当小,模型应针对此限制进行调整以取得令人满意的结果。在本文中,我们提出了一个完全卷积网络(FCN),它利用编码层的响应来转换潜在空间中的父面孔,并迭代解码这些响应以重建可能的亲属面孔。为此,我们提出了标准FCN的三个新贡献,用于亲属关系人脸合成:1)我们使用针对大规模数据集上的人脸识别优化的预训练编码层网络。最终,这使我们能够提取更强大的隐藏特征,即使为人脸合成模拟的人脸数量有限。2)虽然使用编码层提供了几个优点,例如人员识别的准确性,但由于隐藏特征的维数很大,解码层很容易在数据上过度训练。最终,问题变得更加复杂,以概括不同面部场景的最佳解决方案。因此,我们利用大规模无监督数据的对抗性损失来减轻过度拟合及其泛化能力。3)***,我们采用循环域转换[27](即从父对象到子对象以及从子对象到父对象的转换),这会导致更稳定的结果。本文结构如下。首先,我们回顾了关于人脸合成和亲属关系验证的文献,因为这些步骤是我们问题的两个主要基础。随后,提出了所提出方法的细节以进行相关综合。***,报告实验结果,并解释***对本文的评论。人工智能从父母照片合成可能的孩子面孔,深度学习亲缘关系生成相关工作:在本节中,将详细讨论人脸合成和亲缘关系验证,因为这是有效亲缘关系合成的两个关键要素。面部合成:面部合成的早期研究最初旨在从低分辨率图像中产生幻觉面部以推断其高频细节[2,19]。这些作品特别强调人脸的共同特征,如眼睛、山脉和对称性。然而,它们的主要局限在于解决方案严格依赖于数据(即没有泛化能力)并且自然图像流形学习(即记忆)只能在将图像块从低分辨率成对转换为高分辨率的情况下持续存在***所有可能的解决方案均取平均值。同样,基于自动编码器(AE)的方法对于解决方案也有类似的缺点。[10]旨在通过驱动面部动力学(即表情)和基于AE的视觉外观来生成亲属面孔,因此它能够将个人表情转移给未来的孩子。变分自动编码器(VAE)[16]是一种通过从编码器层的输入计算随机潜在变量来合成图像的概率方法。因此,这实际上提高了模型的泛化能力,并针对各种图像合成问题以及人脸得到了不同的结果。然而,它仍然没有达到问题的复杂性(即,它低估了固定大小参数(即均值和方差值)的问题)。***,过度平滑的结果。最近,生成对抗网络(GAN)[12、23、3]产生了令人印象深刻的图像生成结果。特别是,通过组合各种姿势、表情、性别、肤色和头发类型,可以以不恰当的方式实现面部合成。此外,它允许用户使用简单的解决方案将图像转换到不同的域[14,5]。[9]中给出了GAN优于VAE/AE的解释,其中GAN保留了问题的细粒度解决方案,而VAE/AE粗略地近似了它。亲属关系验证:亲属关系验证/识别最初是基于手工制作的浅肤色特征,通过融合肤色和/或面部照片显示的高阶梯度模式[24,25]。此外,探索使用视频而不是单个图像[6],作者声称它可以验证具有时空外观、隐式面部表情的面部。最近,深度模型已经实现了最先进的问题性能[26、18、8、21]。总的来说,他们的解决方案基于从可用面部模型传输可训练参数,并由于样本稀缺而使用亲属关系数据进行微调。***,特征空间通常是通过类似于人脸识别问题的三元组损失来学习的[22]。人工智能从父母照片中合成可能的孩子面孔,深度学习亲属关系生成。结论:在本文中,我们提出了一种亲属关系人脸生成器网络,它可以在亲属关系样本稀缺的情况下产生有希望的结果。在整篇论文中,我们做出了三个主要贡献。首先,为了提取稳健的面部特征,我们在网络中使用预训练的深度面部模型。后来,对抗性方案被用来提高网络的泛化能力,防止过拟合。***,使用循环域转换方法来提供父项之间的翻译一致性。实验结果表明,该方法取得了有希望的感知结果。