本文经AI新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。古色古香的旧图立马清晰到发丝是一种怎样的体验?看着明亮的眼睛和清澈的头发,原本模糊的人像立马增添了几分灵动:(这是用AI修复的高圆圆童年照片)历史名人旧照也可以照顾一下。鲁迅先生青春容貌还原得淋漓尽致:图灵修复更厉害,不仅眼神更锐利,头发、眉毛等细节也完美还原:而且以上效果不需要专业的PS技巧,只需使用网页上的一个Demo,上传图片点击鼠标搞定!如此便捷的修复神器,顿时吸引了大批网友围观试用。很多人拿小时候的低分辨率照片做实验,效果就好像站在十几年前的自己面前一样:贴上去的照片也能秒变大人像,感觉立马就来了~多人合影的修复也是小case,效果让网友们纷纷表示震惊。这就是连续多日霸占GitHub热榜第一的AI修复项目:GFP-GAN,star数8400。最近在网上掀起了老照片修复热潮,并且人们争先恐后地尝试一下!本项目由腾讯PCGARC实验室提出,相关论文已被CVPR2021收录。现在,就让我们快速体验一下它的神奇吧。演示试用版GFP-GAN可以通过Colab、HuggingFace或本地运行代码进行播放。我们今天在HuggingFace网页上体验它。如界面所示,将需要修复的照片拖入左侧图片框内,点击提交即可。比如我们上传一张照片,效果是这样的:并且会自动把脸拉直。令人惊讶的是,在戴眼镜的人像情况下,GFP-GAN甚至可以高清处理镜头的反射。u1s1(不得不说),修复后的效果完全不像几十年前的照片了!连孙悟空孙悟空的猴脸GFP-GAN都这么轻松,修光效果特别出众。此外,修复时皮肤不会过度平滑,人脸上的自然皱纹都被精细地展现出来。使用GAN修复人像GFP-GAN是如何做到如此强大的效果的?研究人员受到StyleGAN2的启发:既然GAN已经能够生成真实的图片,那么它所包含的人脸信息是否也能帮助人脸复原呢?因此,在GFP-GAN的模型框架中,主要使用退化去除模块和预训练的GAN作为先验。这两个模块通过潜在编码图和多个通道分割空间特征变化层(CS-SFT)连接。在训练过程中,首先对低质量人脸进行降噪等粗处理,然后保留人脸信息。在保真度方面,研究人员引入了面部损失(FacialComponentLoss)来确定哪些细节需要改进和保留,然后用IdentityPreservingLoss进行修复。第一作者师从唐晓鸥教授。王鑫涛为该论文的第一作者,腾讯ARC实验室(深圳应用研究中心)研究员。毕业于浙江大学,获学士学位,获博士学位。香港中文大学毕业。博士期间师从汤晓鸥教授和陈昌来教授。他的研究方向是计算机视觉和深度学习,尤其专注于图像和视频修复。论文地址:https://arxiv.org/abs/2101.04061GitHub项目页面:https://github.com/TencentARC/GFPGANHuggingFace演示传送门:https://huggingface.co/spaces/akhaliq/GFPGAN
