当前位置: 首页 > 科技赋能

自研大模型新成果:蚂蚁百灵大模型推出20亿参数遥感模型,论文入选国际顶级AI会议CVPR 2024

时间:2024-05-19 16:51:49 科技赋能

2月28日,记者获悉,蚂蚁集团推出20亿参数遥感模型亿参数多模态遥感基础模型SkySense,是蚂蚁百灵大模型在多模态领域的最新研发成果。

其论文已被世界顶级计算机视觉会议CVPR接收。

数据显示,SkySense的指标在17个测试场景中超过国际同类产品。

也是迄今为止国际上参数规模最大、任务覆盖最全面、识别精度最高的多模态遥感基础模型。

SkySense可用于地貌、农作物观测解译等,有效辅助农业生产和管理。

SkySense 在 17 项评估中超越了最新的国际遥感模型。

随着人工智能的发展,大模型技术与卫星遥感技术的结合产生了新的突破。

SkySense是蚂蚁集团基于蚂蚁百灵大模型平台能力开发的多模态遥感模型。

SkySense 总共在 17 个国际权威公开数据集上进行了评估。

其测试任务类型包括土地利用监测、高分辨率目标识别、地物变化检测等7种常见遥感传感任务。

共对包括IBM与NASA联合开发的Prithvi在内的18个全球主流同类模型进行了测试结果对比。

数据显示,SkySense 在 17 条评论中排名第一。

例如,在国际高清遥感地物检测排行榜FAIR1M 2.0中,天感的平均精度(mAP)领先第二名3%以上。

在刚刚公布的CVPR论文评选结果中,SkySense的研究成果也被收录其中。

CVPR是IEEE组织的计算机视觉和模式识别领域的顶级会议,也是国际计算机视觉三大顶级会议之一。

传统的遥感图像理解技术往往侧重于单一模态和单一任务的建模,缺乏对多模态数据、时间序列和地理先验知识的综合建模和利用,限制了其在海量数据和多任务中的应用。

泛化能力。

SkySense突破了上述技术瓶颈,实现了文本、红外光、可见光、SAR雷达的多模态、多分辨率时间序列遥感图像建模,在多种任务中展现了优异的性能。

在蚂蚁百灵大模型的多模态能力支持下,研究人员基于内部构建的19亿遥感影像数据集进行预训练,得到了20.6亿参数的模型SkySense。

这是迄今为止世界上参数规模和覆盖范围最大的任务。

最完整、识别精度最高的多模态遥感模型。

SkySense可广泛应用于城市规划、森林保护、紧急救灾、绿色金融、农业监测等重要领域,目前通过蚂蚁内部MEarth平台提供数据和识别服务。

据了解,蚂蚁集团正计划开放天感模型参数,与业界共同推动智能遥感技术和应用的发展。

SkySense由蚂蚁AI创新研发团队NextEvo与武汉大学联合开发。

NextEvo是蚂蚁AI的核心技术研发团队,主导蚂蚁百灵大模型的研发。

其研发方向涉及CV、NLP、多模态、AIGC、数字人、AI工程等核心技术。

去年,该部门升级了以杨明为首的多式联运团队,全面部署多式联运技术。

杨明拥有博士学位。

来自西北大学,是 Facebook AI Research (FAIR) 的创始成员。

他去年加入蚂蚁集团,曾在NEC America Labs、FAIR和Horizo??n Robotics工作。

他是世界著名的计算机视觉研究专家。

目前,蚂蚁集团的多模态研究成果已应用于支付宝五福节AI大规模互动、蚂蚁医疗数字人等场景。

猜你喜欢