从4K到16K,只用一张图像训练,第一个单样本超高分辨率图像合成框架来了在小图像数据集中,学习基于patch分布生成大图像,很难生成视觉上连贯的图像.OUR-GAN在低分辨率下生成视觉上连贯的图像,然后通过超分辨率逐渐提高分辨率。由于OUR-GAN从真实的UHR图像中学习,它可以合成具有精细细节的大规模形状,同时保持长程相干性。OUR-GAN应用无缝子区域超分辨率在内存受限条件下合成4K或更高分辨率UHR图像并解决边界不连续性问题。此外,OUR-GAN通过向特征图添加垂直位置嵌入来提高多样性和视觉连贯性。在ST4K和RAISE数据集上的实验结果表明,OUR-GAN比现有方法表现出更高的保真度、视觉连贯性和多样性。我们来看看OUR-GAN的合成效果。下图(上图)是一张用于OUR-GAN训练的4K图像,(下图)是一张由OUR-GAN合成的16K(16384x10912)图像。以下几组是OUR-GAN合成的4K风景图片:OUR-GAN成功合成了具有多种模式的高质量纹理图像:one-shotsuper-resolutiongenerativeadversarialnetworkOUR-GANframeworkOUR-GAN分三步合成一张UHR图像占用有限的GPU内存如下图3所示。首先,OURGAN生成低分辨率的全局结构。然后通过内存中超分辨率在内存限制内尽可能多地增加分辨率。最后,OURGAN通过在逐个子区域的基础上应用超分辨率来合成UHR图像,以进一步提高超出内存限制的分辨率。超分辨率模型的输出分辨率受训练图像分辨率的限制。然而,ZSSR和MZSR已经证明,通过利用信息的内部循环,超分辨率模型可以生成比训练图像大2到4倍的图像。全局结构生成学习从单个训练图像合成具有全局连贯形状的不同图像是一项具有挑战性的任务。该研究的初始实验比较了可以用单个图像训练的多个模型。其中,HP-VAE-GAN表现出比其他模型更高的多样性,但缺乏全局一致性。因此,本研究第一步选择HP-VAE-GAN作为基线模型,通过应用垂直坐标卷积来提高全局一致性。HP-VAE-GAN通过基于分层块的生成方案合成图像,如等式(1)-(3)中所示,其中、和分别表示尺度m的生成器、合成图像和高斯噪声向量。符号↑代表上采样。首先,HP-VAE-GAN从高斯噪声生成初始图像,如等式(1)所示,然后逐渐增加分辨率,如等式(2)(3)所示。在1≤m≤L的早期阶段,对于多样性,HP-VAE-GAN应用补丁VAE[19],如等式(2),因为GAN模型的多样性由于模式崩溃问题而受到限制。然而,在L
