GenerativeFaceRestorationModel:UsingTwoDiscriminatorssimultaneouslytoDirectSynthesizeRealisticHumanFaces一个生成器、两个鉴别器和一个语义解析网络可以直接为丢失的图像生成部分或整个逼真的图像。论文链接请移至文末。1.简介本文提出了一种用于人脸修复的深度生成模型。如下图所示，该模型可以直接对人脸图像中缺失的区域进行人脸修复。与之前的许多其他工作不同，对于人脸恢复任务，本文作者使用两个判别器同时构建整个模型，因此无论是局部图像还是整幅图像，看起来都更加逼真。2.方法1.模型结构如上图所示，整个模型包括一个生成器，两个判别器和一个语义分析网络。该项目中的生成器是基于VGG-19的自动编码器。此外，论文作者还构建了两个卷积层，在上面有一个池化层，然后添加了一个全连接层作为编码器。解码器具有与编码器对称结构的反池化层。局部鉴别器用于鉴别图像缺失区域中的合成图像块是否真实。整体鉴别器用于判断整幅图像的真实性。这两个判别器的架构与论文《用深度卷积生成对抗网络来进行非监督表征学习》中描述的架构相似。语义分析网络用于改进上述生成对抗网络生成的图片。语义分析网络是基于论文?，因为这个网络可以提取图像的高层特征。这样，生成的图像块（面部零件）将具有更自然的形状和大小。2.损失函数生成器中的重建损失函数L_r计算生成器的输出与原始图像之间的L_2距离。两个判别器共享相同的损失函数L_ai的定义，如下等式所示，L_ai常用于生成对抗网络。两个判别器的损失函数的区别在于，局部判别器（L_a1）的损失函数只反向传播图像缺失区域的损失梯度，而全局判别器（L_a2）的损失函数反向传播图像缺失区域的损失整个图像渐变。解析网络的损失函数L_p是以像素为单位的softmax损失，softmax也是很多其他分类神经网络中常用的损失函数。综上所述，整个模型的损失函数定义如下：对于网络的训练，论文作者将过程分为三个阶段。在第一阶段，只使用L_r来训练网络重建图像。在第二阶段，网络通过局部对抗性损失进行微调。在第三阶段，使用全局对抗损失和语义正则化来获得最终结果。3.实验结果如本文第一张图所示，生成人脸修复算法取得了很好的效果。图7显示该模型对不同类型的遮挡具有鲁棒性，非常接近实际应用。无论掩模的形状如何，网络都能产生令人满意的结果。图7.面部修复。在每组中，左：遮罩部分的人脸输入，右：修复结果如图9所示，作者还比较了遮罩尺寸对结果的影响。他们发现当阴影适度大时，性能会出现局部最小值。因为当mask是这个尺寸的时候，很可能会遮住人脸的五个特征之一（比如鼻子，眼睛……），而这种情况对于这个模型来说是很难合成的。图9：模型在不同尺寸方形掩膜下的性能评估。这些曲线显示了CelebA数据集上所有图像的模型性能的平均值。图12演示了此生成模型的局限性。首先，虽然该模型包含语义解析网络，可以在训练过程中获得一些高级特征，但无法识别人脸的位置和方向。因此，该模型无法处理那些未对齐的面孔。其次，如上所述，该模型生成部分人脸比生成整个人脸更困难，因为该模型不能始终检测相邻像素之间的空间相关性。图12模型的局限性。顶行：我们的模型未能在未对齐的图像中成功合成人眼。底行：仍然难以生成正确属性的语义部分（例如，红唇彩）。五、结论这个基于GAN的模型有两个鉴别器和一个语义正则化网络能够处理面部修复的任务。它能够成功合成随机噪声中缺失的面部部分。6.评论总体评价：本文提出了一个生成模型，在人脸修复任务上有成功的例子。作者对他们的模型进行了定量和定性评估，因此结果非常合理。本文的贡献：它们提供了一种设计生成对抗网络模型的新方法：同时使用多个鉴别器来实现不同的目标。例如，传统的自动编码器使用L_2距离重建图像，因此往往输出非常平滑的结果。以前的工作经常使用从深度分类神经网络派生的映射向量来改进这个结果。但在这篇论文中，作者表明使用不同的鉴别器也会产生较低的平滑度，从而产生更好的结果。论文作者将训练过程分为几个阶段，这对于训练生成对抗网络确实是个好主意。这就像人类的学习方式：人先学习一个物体的轮廓（类似于本项目中的图像重建），然后一步步学习每个部分的细节（类似于第二阶段微调和第三阶段微调）这个项目的阶段）。作者还证明“峰值信噪比(PSNR)”和“结构相似性指数，SSIM”不足以评估重建或生成结果，因为这两个指标往往是平滑和模糊的结果。如图3、表1和表2所示，子图M1具有比M2和M3更高的SSIM和PSNR。但是M2和M3在语义层面显然有更合理的生成结果。该论文还证明了语义解析网络可以为生成对抗网络的随机噪声提供一些额外的（语义）约束，以获得更真实的结果。图10还表明，这些约束使GAN能够识别面部成分，因此GAN能够在不同的随机噪声中生成具有相似形状和大小的面部缺失部分，仅在某些细节上有所不同，例如眉毛的阴影.7.改进建议该模型的一个局限性是它不能处理一些未对齐的人脸。可以添加面部变形网络来规范化输入面部。使用其他类型的图像（例如建筑物或风景）来训练此模型以判断它是否对其他类型的修复任务具有鲁棒性。论文链接：https://arxiv.org/abs/1704.05838【本文为专栏组织机器之心原创文章，微信公众号“机器之心（id：almosthuman2014）”】点此想看到作者更多的好文章
