近日，苏黎世联邦理工学院计算机视觉实验室的研究人员提出了一种超分辨率模型SRFlow。该模型比GAN具有更强的脑补能力，可以根据低分辨率输入学习输出的条件分布。该论文已被ECCV2020接收。超分辨率是一个病态问题，它允许在给定低分辨率图像的情况下进行多次预测。许多当前最先进的深度学习方法在很大程度上忽略了这一基本事实，这些方法结合了重建和对抗性损失来训练确定性映射。近日，苏黎世联邦理工学院计算机视觉实验室的研究人员提出了一种新的超分辨率模型SRFlow。该模型是一种基于归一化流的超分辨率方法，比GAN具有更强的脑补能力，可以基于低分辨率输入学习输出的条件分布。论文地址：https://arxiv.org/pdf/2006.14200.pdf项目地址：https://github.com/andreas128/SRFlow?研究人员使用单一损失函数、负对数似然（negativelog-likelihood）来训练模型。SRFlow直接解释了超分辨率问题的病态性质，并学习预测不同保真度的高分辨率图像。此外，研究人员利用SRFlow学习到的强大图像后验来设计灵活的图像处理技术，可以通过传输其他图像的内容来增强超分辨率图像。该研究展示了基于面部图像和其他超分辨率图像的实验。结果表明，SRFlow在PSNR和感知质量指标方面优于目前最好的GAN方法。同时，SRFlow允许探索超分辨率解决方案空间以实现图像生成。多样性。下图显示了基于GAN的ProgFSR和基于归一化流的SRFlow的比较结果：SRFlowMethodIntroductionofSRFlowMethodResearchers将超分辨率公式化为：给定一个低分辨率（LR）的输入图像，学习一个高分辨率（HR）的图像的条件概率分布问题。该方法旨在通过捕获基于自然图像流形的所有可能的超分辨率(SR)图像来明确解决超分辨率问题的病态性质。为此，研究人员设计了一个条件归一化流架构，以使用基于对数似然的训练来学习丰富的分布。超分辨率的条件归一化流超分辨率的目标是通过生成丢失的高频细节来预测给定低分辨率图像x的更高分辨率版本y。大多数当前方法学习确定性映射x→y，而这项工作旨在获得与LR图像x相对应的自然HR图像y的完全条件分布。这是一个具有挑战性的问题，因为模型必须捕获多个可能的HR图像，而不是仅仅预测单个SR输出。本研究的目标是在给定大量LR-HR训练对的情况下，以纯数据驱动的方式训练分布的参数θ。条件流层流层（流层）f^n_θ的设计需要格外小心，以确保条件良好的逆矩阵和易处理的雅可比矩阵。[10,11]首次解决了这一挑战，最近也引起了人们的极大兴趣[5,14,21]。该研究从无条件的Glow架构[21]开始，该架构本身基于RealNVP[11]。这些架构使用的流层可以直接设置条件[3,49]。研究人员对研究提出的AffineInjector层进行了概述和介绍。架构SRFlow的架构如图2所示：应用程序和图像处理研究人员使用SRFlow网络进行多个应用程序和图像处理任务。解析方法[47]没有。首先，该研究的网络对HR图像空间内的分布进行建模，而不仅仅是预测单个图像。因此，它通过捕获多个可能的HR预测提供了极大的灵活性。这允许使用额外的指导信息或随机抽样来探索不同的预测。其次，流网络f_θ(y;x)是一个完全可逆的编码器-解码器。因此，任何HR图像都可以编码到潜在空间中并精确地重建为。这种双射对应允许在潜在空间和图像空间中进行灵活的操作。随机超分辨率给定LR图像x，我们可以通过对不同的SR预测进行采样来探索SRFlow学习的分布。正如基于流的模型[21]所观察到的那样，方差较小的采样可获得最佳结果。因此，研究人员使用方差为τ（也称为温度）的高斯分布。当τ=0.8时，结果如下图3所示：LRConsistentStyleTransfer当超分辨LR图像x时，SRFlow允许转移现有HR图像的风格。下面的图4演示了图像中面部特征、头发颜色和眼睛颜色的风格迁移：潜在空间归一化研究人员利用SRFlow网络f_θ的可逆性和学习到的超分辨率后验来开发更先进的图像处理技术。该方法的核心思想是将任何包含所需内容的HR图像映射到一个潜在空间，其中潜在统计数据被归一化以与给定LR图像中的低频信息一致。令x为低分辨率图像，为任意高分辨率图像（不一定与LR图像x相同）。本研究的目标是获得HR图像y，其中包含图像内容，并且与LR图像x一致。图像内容传输本研究旨在通过传输其他图像的内容来操纵HR图像。令x为LR图像，y为相应的HR图像。对于超分辨率图像，x的SR样本。然而，我们也可以通过将x设置为y的缩小版本来操纵现有的HR图像y。研究人员将其他图像的内容直接嵌入到y的图像空间中，从而对y进行操作，如下图5所示：图像恢复研究人员将学习到的图像后验应用于图像恢复任务，从而提高其能力。请注意，这里我们使用相同的SRFlow网络，该网络仅针对超分辨率进行过训练。研究人员探索了对图像中的高频信息有重大影响的因素，例如噪声和压缩伪影。实验研究人员将他们提出的方法与当前的SOTA方法进行比较，并进行控制变量分析。FaceSuper-Resolution基于CelebA测试集中的5000张图像，评估了SRFlow在人脸超分辨率图像任务中的性能，并与bicubic、RRDB[47]、ESRGAN[47]和ProgFSR[19]进行了比较】对比。通用超分辨率研究人员在DIV2K验证集上评估了SRFlow在通用超分辨率任务上的性能，并将其与Bicubic、EDSR、RRDB、ESRGAN和RankSRGAN进行了比较。与基于GAN的方法[47,56]相比，SRFlow取得了明显更好的PSNR、LPIPS和LR-PSNR结果，并且在PIQUE和BRISQUE上也取得了优异的结果。图8中的可视化结果表明EDSR和RRDB的感知性较差，这些结果产生的高频细节很少。相比之下，与ESRGAN相比，SRFlow能够生成丰富的细节并获得良好的感知结果。如第一行所示，ESRGAN生成的图像在多个位置存在严重的变色伪影和振铃模式。另一方面，SRFlow产生更稳定和一致的结果。控制变量研究此外，为了研究深度和宽度两个因素的影响，研究人员进行了控制变量实验。图9展示了在CelebA数据集上的结果：如何根据任务需求匹配合适的数据库类型？在AWS推出的白皮书《进入专用数据库时代》中，介绍了8种类型的数据库：关系型、键值型、文档型、内存型、关系图型、时间序列型、账本型、字段宽列型，并分析了每种类型的优势逐个。挑战和主要用例。
