AImosaicremovalDeepCNNdenoiserandmulti-layeradjacentcomponentembeddingMosaicremoval摘要：目前大多数人脸去马赛克方法，无论是浅层学习还是深度学习，两者都试图在训练集合的帮助下学习低分辨率（LR）和高分辨率（HR）空间之间的关系模型。他们主要关注通过基于模型的优化或学习判别推理来建模图像优先级。然而，当输入的LR曲面较小时，学习到的先验知识不再有效，其性能急剧下降。为了解决这个问题，本文提出了一种通用的面部幻觉方法，可以结合基于模型的优化和判别推理。特别是，为了利用基于模型的先验，通过图像自适应拉普拉斯正则化将深度卷积神经网络(CNN)降噪器预先插入到超分辨率优化模型中。此外，我们进一步开发了一种高频细节补偿方法，将人脸图像分散到人脸部位，并在多层相邻嵌入中进行人脸幻觉。实验表明，所提出的方法可以为微小的输入LR人脸获得有前途的超分辨率结果。人工智能马赛克去除DeepCNNdenoiserandmulti-layeradjacentcomponentembeddingmosaicremoval介绍：为了克服基于模型的优化方法和判别推理学习方法的缺点，同时发挥各自的优势，最近，提出了几种方法来保真度项和正则化项在变量拆分技术的帮助下被分开处理，例如作为去噪(RED)的ADMM优化或正则化[Romanoetal.,2017]。基于模型的超分辨率方法尝试迭代重建HR图像，使其退化的LR图像与输入的LR图像匹配，而推理学习则尝试使用LR和HR图像对通过机器学习来训练降噪器。因此，复杂的超分辨率重建问题被分解为一系列图像去噪任务，再加上一个易于处理的二次范数正则化最小二乘优化问题。在很多真实的监控场景中，摄像头通常距离关注对象较远，系统的带宽和存储资源有限，导致人脸图像通常非常小，即微小的人脸。虽然上述方法具有通用性，可以用来处理各种图像退化过程，但是当采样因子很大，即输入的LR人脸图像很小时，这种方法的性能会变差。学习的降噪器之前未能充分利用人脸的结构，因此幻觉的HR人脸仍然缺乏细节特征，如图1第二列所示。一般来说，基于面部幻觉的深度卷积神经网络(CNN)降噪器先验方法可以很好地生成主要的面部结构，但无法恢复很多高频内容。为了解决非常小的输入图像的瓶颈，已经提出了一些基于深度神经网络的方法[YuandPorikli,2016;Yu和Porikli，2017]。AIMosaicRemovalDeepCNNDenoiserandMultilayerNeighborhoodComponentEmbeddingContributionstoMosaicRemoval：在本文中，我们通过DeepCNNDenoiser和MultilayerNeighborhoodComponentEmbedding(MNCE)开发了一种新颖的人脸马赛克去除方法。受[Zhang等人。,2017]，我们使用CNN学习先验降噪器，然后将其插入基于模型的优化中，共同利用基于模型的优化和判别推理的优势。在这一步中，我们可以预测深度CNN降噪器的中间结果，看起来很平滑。为了增强细节特征，我们进一步提出了一种通过MNCE的残差补偿方法。它将NCE扩展到多层框架，以逐渐缓解LR和HR空间之间的不一致（尤其是当因子非常大时），从而补偿第一步未恢复的缺失细节。图2显示了算法的流水线。这项工作的贡献总结如下：（i）我们提出了一种新的两步去马赛克方法，它结合了基于模型的优化和判别推理学习的优点。所提出的框架使得从不同来源（即一般图像和面部图像）学习先验以同时调整面部马赛克成为可能。(ii)为了恢复缺失的细节特征，建议以多层方式嵌入相邻组件，并逐渐优化和改善幻觉结果。它提供了一种方案来缓解由于一对多映射而导致的LR和HR空间之间的不一致。人工智能马赛克去除深度CNN降噪器和多层相邻组件嵌入马赛克去除实验：该算法的性能已经在大规模名人面部属性(CelebA)数据集[Liuetal.,2015a]上进行了评估，我们定性地并将该方法与最先进的数据集进行定量比较。我们采用广泛使用的峰值信噪比(PSNR)、结构相似性(SSIM)[Wang等人。,2004]和特征相似性(FSIM)[Zhangetal.,2011]作为我们的评价指标。数据集：我们使用CelebrityFaceAttributes(CelebA)数据集[Liuetal.,2015b]，因为它包含一个庞大而多样、海量且注释丰富的主题，其中包括10,177个身份和202,599张人脸图像。我们选择了10%的数据，其中包括20K个训练图像和260个测试图像。然后，将这些图像对齐并裁剪为128×128像素作为HR图像。LR图像是通过Bicubic8×downsampling得到的（Matlab函数默认设置imresize），所以输入的LR平面为16×16像素。所提议的两步法的有效性。为了证明所提出的两步法的有效性，我们展示了不同步骤的中间结果。如图4所示，通过基于深度CNN降噪器执行全局面部重建（步骤1），可以很好地保留主要面部轮廓。通过逐层组件嵌入（Step2），我们可以预期逐渐增强重建结果的特征细节（请参阅第三至第五列）。众所周知，以前的深度CNN降噪器不能用于对面部细节进行建模。但是，它可以用来缓解LR和HR图像空间之间的歧义不一致，这将有利于后面的相邻组件嵌入学习。在第二步中，当它们之间的流形结构间隙很小时，更容易预测LR和HR空间之间的关系。图5定量地显示了多层嵌入的有效性。它表明，通过迭代嵌入，我们可以期望逐渐接近现实。为了证明基于深度CNN的除雪人全局人脸重建模型的有效性，我们进一步展示了用双三次插值代替基于深度CNN的除雪人全局人脸重建的幻觉结果，同时保持第二步（即MNCE）相同。如图6所示，深度CNN降噪器可以产生更清晰、更整齐的面部轮廓。此外，我们还注意到BicubicwithMNEC也可以推断出合理的结果，这证明了MNCE在学习LR人脸和残差图像之间关系时的能力。定性和定量比较：我们将我们的方法与几种代表性方法进行比较，包括LLE[Chang等人。,2004]和LcR[Jiangetal.,2014b],基于深度学习的两种代表性方法,SR-CNN[Dongetal.,2016],VDSR[Kim等人。,2016]和最近提出的两种特定于人脸的图像超分辨率方法，即LCGE[Songetal.,2017]和UR-DGN[Yu和Porikli,2016]。还引入了双三次插值作为基线。AIMosaicRemovalDeepCNNDenoiserandMulti-LayerAdjacentComponentEmbeddingMosaicRemoval结论和未来工作：在本文中，我们提出了一种新的两步框架，用于面部微小图像的面部幻觉。它联合考虑了基于模型的优化和判别推理，并提出了一种用于全局人脸重建的基于CNN的深度降噪器。然后通过多层neighborcomponentembedding，将全局中间HR面逐渐嵌入到HR管理的空间方式中。对大规模人脸数据集和真实世界图像的实证研究证明了所提出的人脸幻觉框架的有效性和稳健性。输入面由手动或其他算法对齐。在未来的工作中，我们需要考虑人脸对齐和解析以幻觉具有未知和任意姿势的LR人脸图像。
