当前位置: 首页 > 科技观察

本文回顾了60多项Transformer研究,总结了遥感领域的最新进展

时间:2023-03-17 12:15:54 科技观察

遥感成像技术在过去几十年取得了重大进展。现代机载传感器的空间、频谱和分辨率不断提高,已经覆盖了地球的大部分表面。因此,遥感技术在生态学、环境科学、土壤科学、水污染学、冰川学、土地调查与分析等诸多应用研究领域发挥着至关重要的作用。由于遥感数据通常是多模态的、位于地理空间(geolocation)、规模通常是全球性的、数据规模也在不断增长等,这些特点给遥感影像的自动分析带来了独特的挑战。在计算机视觉的许多领域,例如对象识别、检测和分割等,深度学习,尤其是卷积神经网络(CNN)已成为主流。卷积神经网络通常将RGB图像作为输入并执行一系列卷积、局部归一化和池化操作。CNN通常依赖于大量训练数据,然后使用生成的预训练模型作为各种下游应用程序的通用特征提取器。基于深度学习的计算机视觉技术的成功也启发了遥感界,在高光谱图像分类、变化检测等许多遥感任务上取得了重大进展。CNN的主要基础之一是卷积运算,它捕获输入图像中元素(例如轮廓和边缘信息)之间的局部交互。CNN对空间连通性和平移等价性等偏差进行编码,这些特性有助于构建通用且高效的架构。CNN中的局部感受野限制了图像中长程依赖关系(例如远距离部分之间的关??系)的建模。卷积是与内容无关的,因为卷积滤波器具有固定的权重并且对所有输入应用相同的权重,而不管它们的性质如何。视觉转换器(ViTs)在计算机视觉的各种任务中展示了令人印象深刻的性能。基于self-attention机制,ViT通过学习序列元素之间的关系,有效地捕捉到全局交互。最近的研究表明,ViT有能力对依赖于内容的远程交互进行建模,并且可以灵活地调整其感受野以对抗数据中的噪声并学习有效的特征表示。因此,ViT及其变体已成功用于许多计算机视觉任务,包括分类、检测和分割。随着ViT在计算机视觉领域的成功,在遥感分析中使用基于transformer的框架的任务显着增长(见图1),例如超分辨率图像分类、变化检测、全色锐化、建筑物检测和图像字幕.有变压器图。这开启了遥感分析的新时代,研究人员采用各种方法,例如利用ImageNet预训练或使用视觉转换器进行遥感预训练。同样,相关文献中也有基于纯变压器设计或利用基于变压器和CNN的混合方法的方法。由于针对不同遥感问题的基于变压器的方法迅速出现,跟上最新进展变得越来越具有挑战性。在文章中,作者回顾了遥感分析领域取得的进展,并介绍了遥感领域流行的基于transformer的方法。文章的主要贡献如下:anoverviewofapplicationoftransformer-basedmodelsinremotesensingimaging,作者是第一个surveyofuseoftransformerinremotesensinganalysisbridgingthegapbetweencomputervisionandrecent遥感在这个快速发展和流行的领域取得的进展。CNN和Transformer的概述,讨论它们各自的优缺点。回顾文献中60多项基于变压器的研究工作,并讨论遥感领域的最新进展。探索变压器在遥感分析中的不同挑战和研究方向。文章的其余部分组织如下:第2节讨论遥感成像的其他相关研究;第3节概述了遥感中不同的成像模式;第4节简要概述了CNN和视觉转换器;第5节回顾甚高分辨率(VHR)成像;第6节介绍了高光谱图像分析;第7节介绍了合成孔径雷达(SAR)中基于变换器的方法的进展;第8节讨论了未来的研究方向。有关更多详细信息,请参阅原始论文。论文链接:https://arxiv.org/pdf/2209.01206.pdfGitHub地址:https://github.com/VIROBO-15/Transformer-in-Remote-Sensing