在这个追求高清画质的时代，我们对差画质的容忍度越来越低。在知乎上搜索“低分辨率”和“渣画质”，就会看到“低分辨率照片如何补救”“渣画质如何挽救”等大量问题。那么，把渣到马赛克级别秒变高清是一种怎样的体验呢？杜克大学的研究人员用人工智能算法来告诉你。GitHub链接：https://github.com/adamian98/pulse前所未有，“马赛克”瞬间变高清。杜克大学的研究人员提出了一种名为PULSE（PhotoUpsamplingviaLatentSpaceExploration，通过潜在空间探索的照片上采样）的AI算法。该算法可以将模糊、无法识别的人脸图像转换为计算机生成的图像，其细节比以往任何时候都更精细、更逼真。根据输入的低分辨率图片，系统会生成一系列高清图片。如果使用之前的方法，想要清晰一张模糊的“大照片”，只能将照片缩放到原始分辨率的八倍。.但杜克大学团队提出了一种新方法，可以在短短几秒内将16x16像素的低分辨率（LowResolution，LR）小图放大64倍至1024x1024像素的高分辨率（HighResolution，以下简称HR)图片。他们的AI工具会“想象”出一些原本不存在的功能。甚至连LR原图看不到的细节，毛孔、细纹、睫毛、毛发和胡茬等，都可以通过其算法进行处理。你可以清楚地看到它。我们来看一个具体的例子：左边是原始的低分辨率图像，右边是系统创建的高分辨率图像。如此少的像素，就可以创建具有大量细节的超分辨率图像。”在实际应用的方向上，该论文的共同作者SachitMenon说：“在这些研究中，我们只是用人脸作为证明的概念。但从理论上讲，这项技术具有普适性，从医学、显微镜到天文和卫星图像，都可以用来提高图像质量。”打破传统操作，达到最佳效果虽然之前也有很多类似的低清变化虽然是一种高清方式，能够达到64倍像素放大级别，在业内尚属首次。传统方法：像素匹配，容易出现bug。传统方法在处理此类问题时，在得到LR图像后，会“猜测”需要增加多少个像素点，然后尝试在之前处理过的HR图像中匹配对应的像素点。给LR图像。这种简单的像素匹配的结果是头发和皮肤纹理等区域将出现像素匹配错位。此外，该方法还忽略了HR图像中的光敏性等感知细节。所以最后平滑度和敏感度都有问题，结果还是会显得模糊或者不真实。在前面的一些方法中，有些生成的结果有点怪怪的。新方法：低清晰度图像“连连看”杜克大学团队提出的新方法可以说是开辟了新思路。PULSE系统得到一张LR图像后，不会慢慢加入新的细节，而是遍历AI生成的HR图像，将这些HR图像对应的LR图像与原图像进行比较，找到最接近的。比如，相当于把一张LR图当成“连连看”，找出最相似的LR版本，然后推回去。这张LR图对应的HR图就是最终的输出结果。原始LR图像（上），PULSE输出的HR图像（中）HR图像对应的LR图像（下）团队使用了生成对抗网络（简称GAN），它由在同一个照片数据集上训练的两个神经网络组成，生成器和鉴别器。在其中，生成器模拟其接受训练的面孔，提供AI创建的面孔，鉴别器获取该输出并决定它是否足够好以与真实面孔混淆。随着经验的积累，生成器会变得越来越好，直到鉴别器无法区分。他们用一些真实图像进行了实验，效果对比如下图所示：上排是真实图像，中间是对真实图像进行降采样得到的LR图像，下排是通过基于LR图像的PULSE。虽然生成的高分辨率图片和原图之间还是有一些差距，但这比之前的方法清晰多了。评估：优于其他方法，得分接近真实照片该团队在著名的高分辨率人脸数据集CelebAHQ上评估了他们的算法，以64×、32×和8×的比例因子进行这些实验。当研究人员要求40人对PULSE和其他五种缩放方法生成的1,440张图像进行评分时，PULSE表现最好，得分几乎与真实的高质量照片一样高。HR是实际的高清人像数据集，得分仅比PULSE高0.14团队成员表示，PULSE可以从嘈杂、低质量的输入中创建逼真的图像，即使原始图像甚至无法识别眼睛和嘴巴。这是其他方法无法做到的。与其他方法相比，PULSE对细节的处理更加真实。然而，该系统不能用于身份识别，研究人员表示：“它无法将监控摄像头拍摄的失焦、无法辨认的照片变成清晰的真人图像。它只会生成不存在但看起来像的新面孔非常真实。”从具体的应用场景来看，除了上面提到的，这项技术未来可能会应用在医学和天文领域。对于大众来说，有了这个黑科技之后，N年前的老照片就可以高清化了。对于编辑同志们来说，简直是天大的福音，再也不用为找不到高清图片而发愁了。
