CVPR最有趣的论文|不管照片有多模糊，AI都能还原它的表现；然而，现在AI可以准确、完整地复原失明的人脸。1.Brief盲人脸通常依赖面部先验，如面部几何先验或参考先验，来还原现实和真实细节。然而，当无法访问高质量参考时，非常低质量的输入无法提供准确的几何先验，这限制了在现实场景中的适用性。因此，有研究人员提出了GFP-GAN，利用预训练人脸GAN中封装的丰富多样的先验进行盲人脸恢复。生成面部先验（GFP）通过一个新的通道分割空间特征转换层被纳入面部修复过程，使新方法能够在真实感和保真度之间取得良好的平衡。由于强大的GFP和精致的设计，GFP-GAN可以一次性联合恢复面部细节和增强颜色，而GAN反转方法需要在推理时进行昂贵的图像特定优化。大量实验表明，新方法在合成数据集和真实数据集上均取得了优于最新技术水平的性能。2.先知道效果HiFaceGAN[69]：杨凌波，刘畅，王潘，王山舍，任沛然，马思薇，高文。Hifacegan：通过协同抑制和补给进行面部修复。ACMMultimedia,2020DFDNet[46]：李晓明、陈超峰、周尚臣、林贤慧、左望猛、张磊。通过深度多尺度分量字典进行盲人脸修复。在ECCV中，2020Wan等人。[63]:万子玉,张博,陈东东,张攀,陈东,廖静,方文.让老照片重获新生。在CVPR，2020PULSE[54]中：SachitMenon、AlexandruDamian、ShijiaHu、NikhilRavi和CynthiaRudin。Pulse：通过生成模型的潜在空间探索进行自监督照片上采样。在CVPR,2020的这项研究中，研究人员使用GFP进行真实世界的盲人脸恢复，即先验隐含地封装在预训练的人脸生??成对抗网络(GAN)模型中，例如StyleGAN。这些人脸GANs能够生成高度变异的忠实人脸，从而提供丰富多样的先验，例如几何形状、面部纹理和颜色，使得联合恢复面部细节和增强颜色成为可能（如图所示）多于）。然而，将这种生成先验纳入恢复过程具有挑战性。之前的尝试一般都是使用GAN反演。他们首先将退化的图像“反转”回预训练的GAN的潜在代码，然后执行昂贵的图像特定优化以重建图像。尽管输出视觉逼真，但它们通常会产生低保真图像，因为低维潜码不足以指导准确恢复。3.新框架GFP-GAN框架概述：它包括一个退化去除模块和一个预训练的人脸GAN作为人脸先验。它们由潜在代码映射和多个通道拆分空间特征变换(CSSFT)层组成。所提出的CS-SFT调制实现了良好的保真度和保真度平衡。在训练期间，1)金字塔恢复指南用于消除现实世界中的复杂退化，2)面部成分丢失和识别器以增强面部细节，3)身份保留损失以保持面部身份。AdversarialLossFacialComponentLossIdentityPreservingLoss整体模型目标是上述损失的组合：训练数据与之前的大部分工作相似，GFP-GAN采用Syntheticdata的训练方式。研究人员发现，在合理范围的合成数据上进行训练可以覆盖大部分真实人脸。GFP-GAN的训练采用经典的退化模型，即先高斯模糊，然后降采样，再加入噪声，最后使用JPEG压缩。4.实验及效果可视化在Synthetic的定量指标方面，本研究提出的方法在LPIPS、FID、NIQE中均能取得最好的效果。度。指的是人脸识别模型ArcFace的余弦距离，值越小说明Identity也保持的很好。
