当前位置: 首页 > 科技赋能

百度第四大实验室AR实验室成立背后详解

时间:2024-05-22 19:40:23 科技赋能

随着北京今年的第一场雪,百度再次召集媒体举办AR活动,还原北京老城门。

此前媒体曾受邀参观百度AR还原朝阳门。

不同的是,这次百度又恢复了老北京九个城门中的八个,增加了两个新玩法,并邀请了百度首席科学家吴恩达参与。

同时宣布成立百度AR实验室,打造AR平台。

AR还原老北京九大城门。

此次,百度选择了北京西直门的2号线、13号线换乘大厅,以及地铁2号线的百度AR专列,展示老北京内城的九大城门。

以前的老照片。

九座城门分别是正阳门、德胜门、崇文门、朝阳门、息止门、东直门、府城门、宣武门、安定门。

吴恩达在百度上提供了北京地铁西直门站的三种AR玩法: 方法一:手机扫描打开百度App,点击拍照按钮,用普通模式拍下九座城门的老照片,点击“发现AR动画”,再继续关注手绘城门触发图,就可以看到老北京九个消失的城门重新出现。

方法二:在手机上搜索并打开百度App,搜索九城门关键词,点击搜索结果中的信息卡(阿拉丁卡),摄像头会自动启动,对准任意物体丰富的纹理(如手掌、键盘、杂志、公交卡等),可以看到九个城门的AR效果(见下图)。

手机百度搜索“正阳门”,即可手掌触发AR方式三:实景触发。

正阳门的实景触发也已经实现,并且采用了SLAM技术(Simultaneous Localization And Mapping,实时定位和地图构建技术)。

只需将手机或平板电脑对准正阳门即可触发 3D AR 内容(见下图)。

不过,这次只演示了Demo,用户还无法使用。

SLAM技术和UDT技术 百度此次展示的AR技术比恢复朝阳门时更进了一步。

上次,用户只能用百度手机指向老城门的画作来触发AR。

这次,他们直接将其对准了旧照片,识别起来很困难。

更高。

同时新增搜一搜和实景触发两种玩法模式,分别对应UDT技术和SLAM技术。

SLAM技术 在本次正阳门实景触发测试中,百度采用了自主研发的SLAM技术。

SLAM技术是机器人(计算机)利用传感器(摄像头、激光、IMU等)在未知环境中估计自身姿态(包括位置和方向),同时构建周围环境的地图。

SLAM 在自动驾驶汽车、无人机和 AR 中有非常重要的应用。

百度开发的SLAM技术可以实现低功耗、高实时性,并且支持多种数据源,如单目、双目、RGBD等。

SLAM与IMU技术的区别:手机的IMU(惯性测量单元) )惯性测量单元误差较大,仅适合估计手机的方位(3自由度),如横屏/竖屏、倾斜等,不能用于估计位置计算。

SLAM不仅可以估计手机的三维方位,还可以估计手机的三维位置(6个自由度)。

SLAM技术与IMU技术区别图 对于AR来说,传统的虚实结合是在二维图像上叠加虚拟的三维物体。

视觉SLAM算法使AR系统能够了解周围的三维环境,并将虚拟物体放置在适当的位置。

此外,虚拟物体可以与真实的三维环境进行交互,从而产生更有趣的交互方式。

SLAM的核心有两部分:第一部分是估计计算机的姿态(计算机在三维空间中的位置和方向信息)。

第二部分是构建周围环境的三维地图(稀疏或密集的三维点云)。

对于AR广告来说,SLAM让广告不再局限于预先制作好的海报、平面包装等。

比如,用户可以在家中用手机打开百度,查看网上的沙发是否与客厅相匹配,或者可口可乐——可乐公司制作了一个AR广告,让运动员绕着可乐罐等跑动。

百度SLAM技术的基本情况及上线时间 百度ARLab负责人吴忠钦向笔者介绍了百度SLAM技术的基本情况,并透露:该技术将在未来三个月内在百度手机上推出。

他说:其实百度最早有SLAM技术积累,我们最早有无人机团队。

在那个团队里,如果我们想解决无人测试导航定位的问题,就必须先掌握这套技术。

那时我们就开始研发。

做了一段时间的无人机项目,感觉它的场景比较少,所以我们也做了一个无人机项目。

事实上,我们的SLAM在无人车项目中得到了最大程度的应用。

这次的技术其实和那个框架类似。

它的特点是它不像无人车那样拥有那么好的传感器和丰富的动力源,所以它使用了更多的附加技术。

例如,我们这里使用的技术会更加关注视觉帧之间的相关性和空间中的定位。

它对性能要求特别高,手机本身的计算能力也不是特别强。

支持多帧同时采样。

我们从这个角度做了很多工作。

我们技术上已经基本准备好了,接下来还会有很多优化工作,让体验变得更好。

一旦尺寸和体积打磨完毕,我们将在三个月左右推出这样的功能。

UDT技术 传统的基于图像跟踪的AR技术需要预先确定的图片,用户必须有相同的图像才能显示AR。

通过UDT(User Defined Target)用户自定义目标技术,消除了这一限制,让用户轻松找到有纹理的图案来显示AR效果(如公交卡、书籍、手掌、键盘等)。

UDT利用多线程、GPU等加速算法实时估计图像中的复杂特征信息,从而计算出空间中的三维位置。

成立AR实验室,搭建AR平台。

趁着展示老北京九座城门修复的契机,百度宣布成立第四大实验室——增强现实实验室(AR Lab),由吴忠勤领导,首席科学家吴恩达所属。

百度研究院.百度研究院已拥有硅谷人工智能实验室、北京深度学习实验室(原深度学习研究院)和北京大数据实验室三大实验室。

百度AR技术架构图 据吴忠勤介绍,百度移动AR技术分为图像识别、3D感知与跟踪、人机交互、3D渲染以及虚实融合四个部分:物体识别是AR的基本功能,相机识别场景中的物体。

物体,触发相关AR,并在云端查找对应的虚拟物体和信息。

目前主要的AR技术很大程度上依赖于图像识别技术。

在图像识别方面,百度拥有全互联网数百亿的图像数据,识别速度非常快。

如果您使用过我们的照片识别软件,您就知道它可以以非常快的速度(大约几百毫秒)返回结果,并且可以在 40 到 500 亿张图像数据库中快速搜索。

三维感知与跟踪通过自主研发的相机跟踪算法,为AR提供快速、稳定的相机姿态估计结果,适应AR技术在移动设备上的操作需求。

我们在跟踪速度上可以实现10毫秒的快速跟踪,并且完全可以进行离线计算。

同时我们也有比较强的抗干扰能力,就是画面的遮挡和物体部分的遮挡都能快速响应。

当相机移开时,可以计算相机的重新定位。

人机交互技术可以利用语音和手势来减少用户触摸屏操作,给用户带来更好的交互体验。

比如语音识别,百度的语音识别准确率非常高,达到97%。

跨平台3D渲染引擎可以将虚拟3D物体渲染到真实环境中,从而达到虚实融合的效果。

我们的3D渲染目前可以跨平台,大小可以达到1M左右,这样互联网上的大多数移动应用程序都可以集成这样的SDK和AR服务。

吴忠钦,百度ARLab AR平台负责人 百度AR产品主要以平台的形式面向行业合作伙伴,推出了DuMix产品体系。

该系统主要包括AR SDK和AR编辑器。

AR SDK支持iOS和Android,包括渲染引擎和底层算法; AR编辑器包括AR行业模板和3D快速建模工具。

DuMix产品体系 吴忠钦介绍,百度AR SDK可以支持实际物体的AR,也可以支持AR驱动的整个互动游戏。

例如,如果没有触发器,就会有基于手和脸的特殊交互效果。

百度里几个比较大的手机应用已经支持这个效果了,大家也会在各种场合看到有这个能力的百度软件。

DuMix可以支持多种应用场景。

百度在现场列出了AR游戏、AR娱乐和AR旅游。

以品牌营销为例,介绍Dumix的申请流程(见下图)。

吴恩达:AI技术是AR的核心。

吴恩达专程从美国参加百度北京老城门AR修复活动。

他向笔者透露,自己60%的时间在硅谷,40%的时间在中国。

吴恩达非常看好AR,他认为AI技术是AR的核心,百度内部认为人工智能是新的电能。

他说:现在人工智能的核心技术是图像技术,因为需要图像技术来了解这个图片的内容是什么,还需要图像技术进行视觉定位,这样虚拟技术才能实时投入。

如果有脸,也可以叠加虚拟内容。

有几个人工智能技术对AR未来会非常重要,因为如果你拿着手机看AR内容,如果你想和手机进行交互,最重要、最方便的方式就是自己说话,因此我们的团队也在探索如何使用语音识别来让您在观看增强现实内容时进行交互。

我们与很多公司合作,为用户提供了很多有趣的增强现实内容。

事实上,我认为AR的未来有很大的潜力。

如今,AR为历史领域带来了非常有意义的体验。

希望未来AR也能为很多领域的人机交互带来改变,包括教育、医疗、理疗、旅游、生活等,让每个人都更加自然、便捷。

探索世界。

我认为今天的AR技术已经做得很好了,但是我们还有很大的空间让这些AR技术变得更好。

吴恩达在接受媒体采访时表示,百度大约在两年前开始发力AR,并相信手机将是比眼镜更便捷的AR应用平台。

国外有人在做AR或VR硬件。

我觉得如果我们想为很多用户提供AR体验,我们可以把AR体验放到手机里。

对于用户来说会更加方便,不需要去买几千块钱的这种东西。

在谈到中美AR发展的比较时,他认为AR技术在中国会比在美国发展得更快。

我认为AR在中国的发展速度比在美国更快。

我有两个想法。

首先,很多人在美国首先使用的是PC。

他们习惯了电脑,然后开始使用手机。

因此,手机领域的很多创新都是首先在中国出现的。

另一个原因是中国有更多的人聚集在一个城市。

AR也是手机的一个例子。

因为中国人比较多,坐地铁的人很多,所以可以把AR图像切到地铁里。

给很多人带来经验。

AR:BAT新战场AR正在成为下一个科技大热点。

目前,不仅是百度,BAT三大巨头也在积极布局AR技术。

阿里巴巴方面,支付宝推广AR实景红包,淘宝探索VR购物,阿里还投资AR初创公司Magic Leap;在腾讯这边,QQ不仅推广AR实景红包,还玩转AR火炬等各类应用,其中已有超过1亿用户参与,而且根据笔者获得的信息,腾讯还将推出一款AR实景红包。

今年名为 QAR 的 AR 开放平台将 AR 集成到其主要应用中。

百度的AR开放平台,加上腾讯的AR开放平台QAR,以及阿里巴巴在AR领域的诸多探索,都表明BAT在AR领域再次集结。