当前位置: 首页 > 科技赋能

“达闼杯”挑战赛圆满结束,验证人形机器人+大型模型潜力

时间:2024-05-19 16:19:16 科技赋能

12月3日,达闼机器人与中国计算机学会、AITISA联盟、OpenI启智、CCF开源发展委员会、北京大学、复旦大学、北京航天大学与中山大学、北京邮电大学、北京智普联合举办的“达闼杯”机器人大模型暨具身智能挑战赛圆满落幕。

本次比赛吸引了国防科技大学、复旦大学、西安理工大学、中国科学院、澳大利亚阿德莱德大学等60余支国内外代表队参赛。

本次大赛顺应科技潮流,旨在探索大语言模型(LLM)。

与机器人系统集成。

选手们使用达闼打造的高真实咖啡店数字孪生场景和机器人开发套件(HARIX RDK),并利用达闼海睿AGI平台、RobotGPT多模态大模型或引入其他大模型,将机器人变成咖啡店服务员。

在模拟场景中,它可以自主完成多轮对话、自主探索和环境感知、生成语义地图、迎接客人、冲泡咖啡、送食物和水、提供零食和果盘、清洁、调节空调等任务。

经过激烈角逐,共有11支队伍获奖。

其中,来自复旦大学和国防科技大学的两支代表队凭借出色的作品和答辩脱颖而出,荣获一等奖。

鹏程实验室、中科院软件所荣获二等奖;来自阿德莱德大学、北京航空航天大学、同济大学、文山大学、西安理工大学、西北工业大学、中山大学的七支代表队荣获三等奖。

奖。

人形机器人与大模型技术的结合充满潜力。

八仙渡海,各显神通。

本次“达闼杯”机器人大模型与具身智能挑战赛重点鼓励开发者利用大模型技术和具身智能技术,通过无代码编程的方式实现机器人。

跨模态人机交互、场景任务感知认知、自主完成各种复杂任务应用的能力。

玩家需要完成四项规定任务和两项开放任务。

规定的任务包括对环境的主动探索和记忆、视觉语言导航、具体化多轮对话和视觉语言操作。

达闼机器人股份有限公司副总裁王斌在接受采访时表示:本次比赛中比较难的两项任务是对环境的主动探索和记忆,以及视觉语言操控。

在开放任务中,竞赛封装了丰富的原子技能供参赛者使用。

困难在于,机器人必须根据环境感知的信息独立执行开关灯、清洁地板等任务。

王斌说:“令人惊讶的是,进入决赛的队伍全部完成了四项规定任务,其中70%的队伍完成了两项开放任务。

而且大部分队伍都使用了大型模型来完成任务,而且效果很好,超出预期。

“本次比赛充分体现了大模型的潜力,无论是大语言模型驱动的多模态对话、开放域检测模型还是大模型的思维链能力,都有非常令人惊喜的表现。

其中,并列获胜者为第一名 国防科技大学和复旦大学的工作尤其令人印象深刻,国防科技大学的亮点是基于大模型和行为树的生成式体现代理系统框架,使用“大脑”。

大模型的意图理解能力和内容生成能力,实现智能交互和决策;以行为树作为智能体的“枢纽”,利用行为树的层次化、模块化、可编程性等特性。

,它将人工智能连接学派技术与符号学学派技术有机结合起来,最终实现灵活、安全、可控的生成体现体。

复旦大学的亮点在于完全使用预训练的大规模AI。

该模型在不使用任何训练数据的情况下,采用多智能体代理(Multi-LLM Agent)的方法,让咖啡厅机器人在出现人为注入的异常错误时完成服务任务并实现特定能力。

在这种情况下,这种多智能体代理方法仍然可以检测到错误并尝试继续完成任务。

该方法鲁棒性强,在中科院软件开发的机器人环境探索与记忆中,实现了陌生环境下的零样本场景感知。

还有认知,对场景中的物体、位置、实时变化,以及对环境、物体、人等的认知。

“从结果来看,目前用大模型来驱动机器人的方法绝对是正确的方向。

”王斌说。

“现在主要的难点是提高实体机器人的物品操控能力。

只要实体机器人的各种原子技能得到丰富和提高,未来的具身智能能力一定会超出人们的预期。

“云机器人建设公司达闼与创新者探索智能机器人的发展之路。

本次比赛全程采用仿真环境,选手可以使用仿真环境训练机器人并部署代码。

达闼提供了基于海瑞系统的机器人开发套件睿锐RDK允许选手直接基于数字孪生场景开发机器人能力,可以直接同步虚拟和真实场景,在真机上实现模拟端开发的功能。

方便学生基于这些接口完成比赛任务,即使不参加比赛,学生或团队仍然可以基于RDK软件开发机器人能力。

作为基础智能代理,还提供了多种传感器模拟,为玩家提供了很大的帮助。

王斌表示:“为了面对非常复杂的场景,达闼完成了真实Ginger人形机器人的数字孪生建模,并将其导入到场景中。

Ginger拥有34个关节自由度和多种传感器,参赛队伍可以在处理复杂场景时,我们有更大的空间将越来越复杂的人工智能算法,特别是大型模型和体现智能技术应用到比赛中。

”另外,不少参赛者表示,达闼杯提供的咖啡厅场景非常细致,还提供了丰富多样的场景物体,并且参赛者可以自定义场景中生成的物体数量,更加高级。

与国外同类平台相比,达闼机器人发布了业界首个基于海瑞云大脑的大型多模态机器人模型RobotGPT,拥抱通用人工智能(AGI)大发展时代。

尤其是在人机协作场景中,需要具身智能在安全可控的范围内完成任务,达闼提出的云大脑正是解决这一问题的终极方案。

随着中国软件大会落下帷幕,“达闼杯”机器人大模型暨实体智能挑战赛也圆满结束。

但其影响远未结束。

各参会各方均表示将继续在达闼海睿平台上开展科研和教学工作,发表高水平论文,孵化更多可行、有前景的项目。

作为建设“国家新一代人工智能云机器人开放创新平台”的企业,达闼将持续以开源、开放、共建、共享的方式推动通用人工智能新生态的发展,加快推进通用人工智能新生态的发展。

大模型在机器人体现智能产业中的应用。

,赋能千家万户。