像素数不够,后期可以修图吗?在知乎搜索低分辨率图片修图。导致求助帖太多,PS技巧教程、外挂神器、各种修图app教程太多。关键是不知道效果如何。不过近日,杜克大学研究团队研发出一款AI修图黑科技PULSE,可以解决所有低像素的烦恼。据说它可以将图像原始分辨率放大64倍,任何渣渣图像都可以秒变高清逼真图像,甚至是马赛克人脸图像,毛孔、皱纹、头发也可以得到明确恢复。PULSE是一种新的超分辨率算法,通过潜在空间探索对照片进行采样,可以将16x16像素的低分辨率(LowResolution,简称LR)放大到高分辨率(HighResolution,1024x1024像素)。简称HR),几秒内放大64倍,而传统方式最多只能放大8倍。我们先来看一组例子。修图界最难的LR爆头,PULSE后秒变高清细腻画面。更重要的是,PULSE可以定位面部的关键特征,以更高分辨率生成一组相似的细节。虽然画面中的头像是马赛克拼接的,但PULSE还可以“想象”出眉毛、睫毛、头发、脸型等面部细节,形成一幅高清逼真的人像。然而过度虚化产生的人像只是一张虚拟的新面孔,实际上并不存在。因此,该技术不能用于识别。例如,监控摄像头拍摄的焦外、面目全非的照片,无法通过PULSE还原为真实人像。杜克大学研究小组的计算机科学家辛西娅鲁丁说:“以前从未产生过如此超高分辨率的图像,能够生成不存在但看起来真实的新面孔。”同时,她补充说,这项研究采用的技术可以广泛应用于医学、显微术、天文学和卫星图像。此外,研究团队已将论文发表至预印本数据库arVix,同时也被IEEE计算机视觉与模式识别国际会议(CVPR2020)收录。“减少损失”,超越传统的图像编辑方法。对于LR图像,传统的将HR分辨率部分与LR图像进行匹配以获得超分辨率(SR)的方法往往会导致HR图像的灵敏度差和不均匀。图片失真。在这项研究中,杜克大学的研究团队开拓了新的思路,提出了一种新的超分辨率算法PULSE。它不是遍历LR图像来慢慢添加细节,而是找到与HR对应的LR。Loss”方法得到SR图像。原始LR(第一行),PULSE输出HR(中线),HR对应LR(最后一行)PULSE使用生成对抗网络(GAN),这是一种训练模型,正如其名建议,通过对抗游戏的方式进行目标训练,其主要结构包括一个生成器(Generator)和一个判别器(Discriminator),在同一组照片训练中,一个负责训练接收到的图像并输出,而other负责接收输出,检查是否足够逼真,下面是与原图对比后的测试结果:图中第一行是原图,第二行是HR对应的LR通过“reducingloss”得到的,第三行是PULSE得到的HR,可以??看出,虽然和原图还是有细微的差别,但是还原度已经很高了,论文中表示,为了测试PULSE在SR方面的优势,杜克大学的研究团队使用了4种不同的图像缩放方法进行了对比研究。在这项研究中,CelebAHQ数据集中的1440张图像用于测试LR面部图像,尤其是眼睛、嘴唇和头发等细节,比例因子为x8和x64。PULSE就体现出了明显的优势,尤其是在X64分辨率下,可以将模糊的人像完整还原,尤其是眼睛、嘴唇等细节,这是其他方法很难做到的。此外,对于测试结果,研究人员采用了常见的感知超分辨率MOS测试方法,邀请了5名评分员对图像结果进行1-5分打分。结果显示,HR源的高清图像分辨率得分为3.74,而PULSE则达到了3.60,仅相差0.14,可以说几乎达到了真正高质量图像的水平。然而,研究人员也承认PULSE并不完美。它产生的高分辨率图像与专业原始图像相比还是有一定的区别。但是随着技术和工具的改进,这个技术会一点点完善。现在研究团队已经将PULSE发布到Github开源平台,收获了569个star。图片编辑有困难的朋友可以安装体验一下~(Github地址:https://github.com/adamian98/pulse)
