北京国际车展(以下简称“北京车展”)盛大举行近日,商汤爵影携一系列原创车型大生态车型及相关产品矩阵首次亮相北京车展。
作为第一家提出感知与决策一体化自动驾驶通用模型的公司,商汤爵影在本次车展上首次向公众展示了真正的端到端自动驾驶解决方案UniAD(统一自动驾驶)用于批量生产。
此次路试表演还带来了以多模态场景大脑为核心的AI大模型座舱产品矩阵和全新座舱3D交互演示,为通用人工智能(AGI)驱动的灵活适配和深度个性化提供了全景展示。
) 技术。
、安全、值得信赖、人文关怀,打造未来出行新体验。
商汤科技联合创始人、首席科学家、爵影智能汽车事业群总裁王晓刚表示:“未来汽车智能化的竞争,本质上是通用人工智能技术融合与应用的竞争。
商汤爵影致力于成为加速汽车智能化的汽车。
”作为AGI时代的核心技术合作伙伴,我们将为智能汽车行业带来生产效率和交互体验的双重创新,与合作伙伴一起提供通用人工智能驱动的智能汽车新体验。
商汤及其联合实验室以前瞻性的行业洞察和开创性的布局,提出“像人类一样驾驶!”业界首个感知与决策一体化自动驾驶通用模型UniAD于年底推出。
次年荣获计算机视觉与模式识别国际会议(CVPR)最佳论文,引领端到端自动驾驶创新潮流。
本届北京车展上,商汤爵影以其UniAD自动驾驶解决方案令人惊叹的实车测试结果,展示了中国端到端的智能驾驶能力。
在没有高精度地图的情况下,只能依靠基于视觉感知的实际路测结果。
无论是复杂的城市道路,还是无中心线的乡村道路,车辆都能高效、精准地完成大角度左转上桥、避开占道车辆和施工区域、绕行等一系列高难度作业。
奔跑的行人,实现“像人一样开车”。
(搭载UniAD解决方案的车辆可以真正“像人一样驾驶”)今年年初,特斯拉开始向部分用户推送FSD V12版本的端到端自动驾驶解决方案,并且越来越多的“端到端”的智能驾驶解决方案,但大多数端到端解决方案采用感知和决策两个模型组成的“两级”架构,更容易实现。
仍然存在信息传输过滤或两个模型之间的损失。
UniAD将感知、决策、规划等模块集成到全栈Transformer端到端模型中,实现真正的感知决策一体化的端到端自动驾驶。
(UniAD真正的端到端:感知与决策一体化的通用模型)目前,行业需要真正的端到端的自动驾驶解决方案,因为基于规则的智能驾驶解决方案的天花板已经开始显现。
随着城市地区成为智能驾驶的主战场,场景计算的复杂度呈指数级增长。
大量的人力资源投入只会增加有限的规则,无法应对无限数量的复杂场景和长尾路况(极端情况)。
端到端技术的出现开辟了一条新的路径,开始推动自动驾驶范式从铺设大量人力转向持续投入算力和高质量数据输入。
依托商汤大型设备雄厚的算力、高质量的仿真数据和业界领先的模型性能,UniAD的端到端解决方案具有更高的容量限制。
其强大的学习和思考能力使其能够像人类一样驾驶;数据驱动的端到端模型具有较强的泛化能力和快速的迭代效率,可以帮助车企以低成本快速开发城市;纯视觉感知无画面方案进一步降低系统软硬件成本,助力智能驾驶普及,赋能全国发展。
。
(新一代自动驾驶模型DriveAGI:可感知、可交互、可信赖)基于端到端系统,商汤爵影还在本次车展上预览了新一代自动驾驶模型DriveAGI,以推广自动驾驶。
驾驶从数据驱动向认知驱动转变。
依托多模态大模型强大的世界理解能力、推理能力、决策能力和交互能力,DriveAGI将是最接近人类思维模式、最能理解人类意图、能力最强的技术方案解决困难的驾驶场景。
自动驾驶迈出了重要一步。
“多模态场景大脑”敏锐的洞察、深刻的思考、高效的执行,提供真正懂你的智能座舱。
近期推出的小米SU7将AI大模型带入座舱,商汤的“每日上新”大模型也全面助力小爱同学的车载语音场景应用。
4月23日,商汤科技发布全新升级的“日日新SenseNova 5.0”大机型。
亿参数“RiRiXin 5.0”采用混合专家架构(MOE),具有更强的知识、数学、推理和编码能力,成为国内首个全面对标甚至超越GPT-4 Turbo、多模态能力的大型模型领先于GPT-4V。
基于端云结合的架构,商汤的设备端大模型大幅超越同尺寸大模型,超越7B、13B大模型,更适合车端部署。
基于多模态大模型、大语言模型、文生图模型等能力的结合,商汤爵影以多模态场景大脑为核心,打造了一系列全景感知、主动关怀、创意的大模型座舱产品。
核。
。
商汤决影正在以敏锐的洞察力、深刻的思考、高效的执行力打造的多模态场景大脑,是助力智能汽车迈入AGI时代的核心产品之一。
多模态场景大脑以应用场景和用户需求为驱动,让智能汽车高效精准地全景感知并深入了解用户需求和周围环境,并以场景大脑为核心,打通不同的应用和场景。
聚合离散单点函数。
,从而为用户提供更加深度个性化的主动关怀和服务。
(多模态大模型可以精准感知识别车外信息)根据地理位置推荐符合用户喜好的餐厅、介绍用户感兴趣的外部自然风光、推荐优质景点是基础绝影AI大模型座舱产品功能。
凭借强大的多模态感知能力,搭载商汤绝影解决方案的车辆可以准确感知识别车外信息,包括周围车辆的型号、地标建筑等,并以语音、图片或视频作为车内信息。
业内人士提供更准确、更全面的内容,帮助用户了解和掌握外部环境信息,打破座舱本身的限制,让用户享受更自由、无束缚的出行体验。
此外,以多模态场景大脑为核心,商汤爵影还可以提供更多基于汽车场景的AI大模型座舱产品。
“旅行医生”以商汤的“大医生”医疗健康模式为桥梁,让用户在驾驶舱内获得专业化、个性化的健康管理服务,让旅行更有保障。
基于AIGC大模型技术的“神笔”可以将用户简单的画线转变成精美的艺术品,增添驾驶乐趣。
(“旅行者医生”让用户在座舱内获得专业化、个性化的健康管理服务)(“神笔”可以将用户简单的画线转变成精美的艺术品)人机交互的创新也是驱动座舱的重要因素在体验维度增强方面,去年Apple Vision Pro的推出展现了3D交互的创新体验和应用潜力。
商汤决影凭借深度感知技术研发能力和高效创新迭代效率,将3D Gaze高精度眼部交互和3D动态手势交互两项全新座舱3D交互演示带到现场,让观众体验到更加人性化的体验。
直观的座舱交互方式,推动座舱交互向更安全、更便捷的3D交互演进。
其中,3D Gaze高精度眼线交互是商汤爵影全球首创的智能座舱技术,可通过视线定位与屏幕图标进行交互,让用户无需点击屏幕,即可通过眼睛精准操控中控图标,并完成许多任务。
多种互动操作; 3D动态手势交互是业界领先的智能座舱技术,支持动态手势和手部微动作识别。
用户可以通过“隔空”手势实现各个座舱的精细化交互,打破了传统的按键和屏幕触摸方式。
繁琐且有限。
(商汤爵影3D Gaze高精度眼部交互:通过眼睛即可精准控制中控图标)放眼未来,商汤爵影也在进一步探索座舱与驾驶一体化,在硬件上实现智能驾驶、智能座舱,软件与应用层面的全面集成,提升用户体验,降低系统成本,进一步打破舱内外的界限和约束,涌现出更多创新功能,带来更安全、更全面、更人性化的新体验。
率先完成四大技术基地布局,商汤决影加速智能汽车进入AGI时代。
未来一两年,智能汽车正处于关键时间节点,其与通用人工智能的深度融合将开启一个新时代。
时代。
在新时代,任何企业都无法独自取得成功。
车企需要强大的核心技术合作伙伴共同努力,而商汤决影是行业稀缺,拥有“算力+算法+量产经验”的全栈技术,领先的核心供应商是一匹跃马,能够帮助合作伙伴继续引领AGI时代。
AGI的突破掀起了技术范式的革新,扎实的核心研发能力成为行业竞争的关键。
依托商汤设备深厚的算力储备、原生汽车垂直大规模模型、领先的软硬件架构和全栈数据生产流水线,商汤决影已率先打造四大技术基地,正在成长为加速核心智能汽车进入AGI时代的技术合作伙伴。
SenseCore 商汤设备是业界领先的AI基础设施,能够以高达12 petaFLOPS的算力支持商汤 Shadow系列原生态模型的高效迭代; 商汤 Shadow系列专为智能汽车的未来而打造。
UniAD、DriveAGI、座舱多模态场景大脑等一系列原生态大模型,加速端到端自动驾驶和大模型在智能座舱场景的落地;端云协同、座舱驾驶一体化的创新软硬件架构,使智能汽车降本增效,创新功能不断涌现;全栈数据生产流水线,实现大型模型的高质量训练。
(商汤大设备支持商汤决影系列原生态大模型高效迭代)凭借四大AGI技术基础,商汤决影将推动智能汽车加速拥抱通用人工智能时代,以端到端端大车型解决智能驾驶大规模普及问题,用多模态场景大脑告别智能座舱传统单点功能开发模式,驱动行业生产效率创新,打破内部边界和约束在内舱外,驱动人机交互体验创新,提供灵活自适应、深度个性化、安全可信、人性化的未来出行新体验。
如今,商汤爵影已经构建了智能驾驶、智能座舱、AI云的多元化AGI产品体系,正在加速原生态大车型产品在汽车智能领域的全面深入应用,加速融合AGI进入汽车行业,融入广大车企的合作共赢,将开启未来出行的新篇章。