2月28日,记者获悉,蚂蚁集团推出20亿参数遥感模型亿参数多模态遥感基础模型SkySense,是蚂蚁百灵大模型在多模态领域的最新研发成果。
其论文已被世界顶级计算机视觉会议CVPR接收。
数据显示,SkySense的指标在17个测试场景中超过国际同类产品。
也是迄今为止国际上参数规模最大、任务覆盖最全面、识别精度最高的多模态遥感基础模型。
SkySense可用于地貌、农作物观测解译等,有效辅助农业生产和管理。
SkySense 在 17 项评估中超越了最新的国际遥感模型。
随着人工智能的发展,大模型技术与卫星遥感技术的结合产生了新的突破。
SkySense是蚂蚁集团基于蚂蚁百灵大模型平台能力开发的多模态遥感模型。
SkySense 总共在 17 个国际权威公开数据集上进行了评估。
其测试任务类型包括土地利用监测、高分辨率目标识别、地物变化检测等7种常见遥感传感任务。
共对包括IBM与NASA联合开发的Prithvi在内的18个全球主流同类模型进行了测试结果对比。
数据显示,SkySense 在 17 条评论中排名第一。
例如,在国际高清遥感地物检测排行榜FAIR1M 2.0中,天感的平均精度(mAP)领先第二名3%以上。
在刚刚公布的CVPR论文评选结果中,SkySense的研究成果也被收录其中。
CVPR是IEEE组织的计算机视觉和模式识别领域的顶级会议,也是国际计算机视觉三大顶级会议之一。
传统的遥感图像理解技术往往侧重于单一模态和单一任务的建模,缺乏对多模态数据、时间序列和地理先验知识的综合建模和利用,限制了其在海量数据和多任务中的应用。
泛化能力。
SkySense突破了上述技术瓶颈,实现了文本、红外光、可见光、SAR雷达的多模态、多分辨率时间序列遥感图像建模,在多种任务中展现了优异的性能。
在蚂蚁百灵大模型的多模态能力支持下,研究人员基于内部构建的19亿遥感影像数据集进行预训练,得到了20.6亿参数的模型SkySense。
这是迄今为止世界上参数规模和覆盖范围最大的任务。
最完整、识别精度最高的多模态遥感模型。
SkySense可广泛应用于城市规划、森林保护、紧急救灾、绿色金融、农业监测等重要领域,目前通过蚂蚁内部MEarth平台提供数据和识别服务。
据了解,蚂蚁集团正计划开放天感模型参数,与业界共同推动智能遥感技术和应用的发展。
SkySense由蚂蚁AI创新研发团队NextEvo与武汉大学联合开发。
NextEvo是蚂蚁AI的核心技术研发团队,主导蚂蚁百灵大模型的研发。
其研发方向涉及CV、NLP、多模态、AIGC、数字人、AI工程等核心技术。
去年,该部门升级了以杨明为首的多式联运团队,全面部署多式联运技术。
杨明拥有博士学位。
来自西北大学,是 Facebook AI Research (FAIR) 的创始成员。
他去年加入蚂蚁集团,曾在NEC America Labs、FAIR和Horizo??n Robotics工作。
他是世界著名的计算机视觉研究专家。
目前,蚂蚁集团的多模态研究成果已应用于支付宝五福节AI大规模互动、蚂蚁医疗数字人等场景。