当前位置: 首页 > 网络应用技术

基于条件纹理和结构生成的图像恢复[ICCV 2021翻译]

时间:2023-03-07 19:03:05 网络应用技术

  免责:简化的翻译,未完全证明

  祝贺Beihang和该论文的作者(作者只有三个人)

  摘要翻译:

  深度生成方法最近通过引入结构取得了长足的进步。但是,由于在结构重建过程中缺乏与图像纹理相互作用,因此当前的解决方案无法处理巨大损害的情况,并且导致失真的结果通常是发生。在本文中,我们提出了一种新型的双流网络,用于图像修复。它以耦合方式对结构约束纹理和纹理指导结构进行建模,以便他们可以更好地相互使用以获得更合理的生成量的添加,以增强整体一致性,即双向门控制特性融合(BI -GFF)模块旨在交换和结合结构和纹理信息,并开发了上下文特征聚合(CFA)模块,以从区域改进内容中学习以学习亲和力。对多尺度特征的了解。定性和定量实验Celeba,Paris Streetview和Places2数据集证明了提出的方法的优势

  输入-Process(重建结构)-Puzzle(修复图像) - 真实图像

  只需谈论论文目录的结构

  出色的高级论文的功能:文章的内容高度凝结,并且没有额外的标题

  图像维修[3]是指维持其整体一致性的过程,同时重建图像的受损区域。这是一个典型的低级视觉任务,具有许多实际应用,例如照片编辑和分散对象运动。

  像大多数计算机视觉问题一样,在过去的十年中,深度学习的广泛应用已在很大程度上促进了图像修复。与传统方法不同[2,5],传统方法通过搜索最相似的方式逐渐填充缺失区域已知区域中的斑块和深度形式的方法[19,7,7,31,33]捕获了更高的语义,并且和and and and和of。它更好地通过非重复模式处理了图像修复任务;

  另一个趋势是结合深度的优势和基于补丁的传统图像维修方法[35、30、24、15],以提供维修内容,并具有真实的纹理和合理的语义。此外,《 Vanilla卷积的更新版》 [13,27 27,36],该操作被屏蔽并标准化为基于有效像素,在不规则损害中实现了良好的性能。如预期的那样强大。

  为了解决这个问题,人们提出了许多方法来清楚建立模型,第一阶段缺乏区域的结构,并在第二阶段使用它们来指导像素。例如,EdgeConnect [18]编码此类结构通过边缘,[20]和[28]使用光滑的图像和前景概述保留在中边缘中。这些替代方案显示了改进结构和纹理的结果。不幸的是,从损坏的图像中获得合理的边缘是一项非常困难的任务。系列耦合框架,重复任务和不稳定的结构优先级通常会导致很大的错误。

  最近,一些试图混合结构和纹理的建模过程。PRV(视觉结构的逐渐重建)[10]和MED(编码解码器)[14]是代表。他们通常使用纹理和结构共享的生成器。尽管已经报道了一些性能改进,但在此单个绕组结构中尚未完全考虑结构和纹理之间的关系。尤其是,因为图像结构和纹理与整个网络有关他们很难通过总体补充信息来帮助另一方。这一事实表明,还有很大的改进空间。

  在本文中,我们提出了一个新的双流网络,将图像修复分为两个子任务,即结构约束纹理综合和纹理指导结构重建。这样,这两个平行的耦合流是单独建模和组合的。相互补充。相应地,我们开发了一个双分支歧视者来评估这一代的性能。它监视模型并合成真实像素和锋利的边缘以进行全局优化。此外,我们还引入了一个新的两道路选择功能融合(BI GFF)模块,以整合重建的结构和纹理特征图,以提高其一致性和A上下文浓度聚合(CFA)模块,以突出显示位置的遥远空间的遥远空间,以提供更多细节。到双代网络和特殊设计的模块,我们的方法可以实现更具视觉上的说服力结构和纹理(请参见图1以扩大以获得更好的视图)。

  在Celeba [16],Paris Streetview [4]和Places2 [39]数据集上进行了大量实验。质量和定量结果表明,我们的模型明显好于最先进的模型。

  传统方法可以总结为两类,即基于扩散的方法和基于斑块的方法。基于扩散的方法[3,1]根据相邻区域中的外观信息使缺失的区域。这种初步的搜索机制,它们的结果不是很好。在基于面团的方法[2,29]中,像素完成是通过搜索和粘贴到源图像不败区域的最相似面条来实现的,它使用了长 -距离信息。这些方法实现更好的性能,但是当计算缺乏区域和可用区域之间的相似性时,它们的计算成本很高,很难重建丰富的语义模型。

  深度生成方法[35、36、8、34、38、40、37、26、12]当前占主导地位。由于其具有强大的特征学习能力,它可以从受损的图像和和和和和of.Restore合理内容中有效地提取有意义的语义,并具有更高的视觉保存。

  最近,Wang等人。[25]通过结构信息,它显着改善了边缘上更清晰的图像合成质量。随后,提出了一系列多阶段方法,这些方法与其他结构优先级不断结合,从而产生了更令人印象深刻的结果。EdgeConnect[18] [18]通过边缘提取图像结构,并根据边缘填充孔。[28]显示了一个类似的模型,该模型将前景对象的轮廓用作结构,而不是边缘。[20]指出,由于更多的语义,保留在边缘上的平滑图像传达了更好的全球结构。但是,这些方法对结构的准确性非常敏感(例如边缘和轮廓),这并不容易保证为了克服这一缺点,有几种方法可以尝试使用纹理和结构的相关性。[10]设计了一个视觉结构重建层,以逐渐包裹图像和结构的内容和结构。[32]引入了一个多任务框架,通过添加结构约束来生成锋利的边缘。[14]提出了一个相互编码的网络,以同时学习CNN特征,该特征与不同层的结构和纹理相对应。建筑学。

  我们的研究还使用图像结构信息来提出一个不同但更有效的双流网络,该网络结合了结构约束纹理合成和纹理指导结构的重建。这些两个子任务可以更好地相互促进,并在双重上产生更令人信服的纹理和结构。一代。

  作者提出的两个创新模块和盲目的猜测可能是许多技巧的想法,灵感来自NLP和声音领域的一些切割边缘网络。

  我希望在这里如何使用网络结构图或使用什么工具

  

  损失也是普遍的损失,每个人都知道

  有时,如果其他上衣出现新的损失,如果它真的有效,您可以及时应用它来查看它是否适合当前的现场研究

  该模型接受了Jobttt的培训,其中包含重建损失,感知损失,样式损失和对抗性损失,以使视觉上的刷子呈现

  4个实验

  定性和定量比较

  补充工作量并改善想象力。这些事情很容易说,当它们扔掉时,如果它们不充满对科学研究的热爱,它们都在磨削过程,痛苦和幸福吗?

  在本文中,我们提出了一种新的双流图像修复方法,该方法可以通过同时建模结构对纹理合成和纹理指导结构进行建模来恢复受损的图像。这样,这两个子任务是两个子任务交换有用的信息来促进每个信息其他。此外,引入了一个两道门控制功能融合模块,然后将上下文特征聚合模块完善以完善结果。它具有语义合理的结构和丰富的细节。经验表明,该模型可以胜任此任务,并且比最先进的模型更好。

  中国论文的影响大致如下:

  在文本的末尾,遵循墨水科学AI,背景答复,关键字,20220110

  博客简介:软件工程硕士,毕业硕士,10W读者粉丝

  如果您喜欢,请注意Mo Li AI中的墨水AI和同名公共帐户