关于Google的虚拟现实技术计划,我们已经看到了一个名为Cardboard的廉价纸盒和一个可容纳16个GoPro相机的支架。
从技术角度来看,前者用于消费内容,后者用于生产内容。
这样的布局无疑是完整的。
但这里的“内容”到底是什么意思呢?在谷歌眼中,虚拟现实技术的核心是什么? VR“内容”:跳转到另一个真实空间。
Jump项目负责人在谷歌亚太年度媒体大会(APAC)上的分享,或许可以帮助我们找到答案。
史蒂文·塞茨表示,Jump的意思是“跳到另一个真实空间”,而谷歌想做的就是让人们更方便地“沉浸”在另一个真实空间中。
“方便”指的是廉价的纸板箱,也指YouTube已经开始支持VR视频; “沉浸”是指Jump将全景现实世界带入你的眼前,以及Jump背后先进的视觉补偿算法。
这就是谷歌眼中的VR“内容”。
它不同于Oculus、Vive的虚拟场景游戏,也不同于Hololens的全息电脑交互。
它比后两者“轻”得多。
这也解释了为什么谷歌专注于“体验较差”的Cardboard盒子,而不是开发更先进的专门VR设备。
Steven Seitz 承认 Cardboard 的体验确实不是最好的,并详细解释了原因——Cardboard 试图兼容多款不同尺寸的手机,需要使用不同标准的手机传感器、差异很大的计算处理器性能,而且手机屏幕并不是为近距离观看而设计的。
但他表示,从另一个角度来看,手机是使用起来最便宜的,下一代手机肯定会比现在的手机更适合VR。
现在还只是VR技术普及的初期,下一代手机的VR体验一定会越来越好。
VR技术的核心:3D计算机视觉 在领导Jump项目之前,Steven Seitz曾将计算机视觉技术引入到多个Google产品中,例如Android相机中的“镜头模糊”功能,该功能可以让手机拍摄“背景”照片通过算法模糊”。
就像单反相机和无反光镜相机一样。
这里使用的主要算法是前景和背景的识别。
另一个项目是谷歌地图景点的“3D照片之旅”功能,它在地图上提供著名景点的多角度图像。
这里使用的主要算法将用户从多个角度拍摄的照片映射到三维空间中,以还原真实场景。
正是这些计算机视觉技术的积累,帮助Steven Seitz在捕捉全景图像的探索上取得了突破。
他介绍,第一代Jump实际上是两台单反相机的组合,取得了不错的效果,但需要可旋转的支架,无法同时拍摄全景图像,更适合静态场景。
第二代Jump已开始使用16个GoPro相机。
通过视角的组合,可以模拟左右眼看到的不同图像。
效果无疑得到了提升,但这种方案仍然存在盲点,对视觉补充算法不够友好。
第三代,也就是谷歌在I/O大会上正式宣布的最终版本,仍然是16个GoPro相机,并且组合方式发生了变化,以便于对未捕获的视角进行算法补偿。
Steven Seitz表示,将Jump拍摄的视频变成全景视频还需要复杂的视频合成计算。
这些计算在普通计算机上需要几个月的时间,而使用谷歌的计算机集群只需几个小时即可完成。
最终视频上传到 YouTube,可以通过 Cardboard 观看。
谷歌的VR计划 VR技术已经被应用在谷歌的Expeditions教育项目中。
在课堂上,教师可以带领学生回到遥远的历史场景或遥不可及的海底世界,并可以通过控制程序引导学生看海龟。
谷歌地图街景积累了无数的全景图像。
虚拟现实技术的核心是3D计算机视觉,它是一种重建视觉空间的机器学习算法。
当我们探索这个新世界时,最简单的工具加上大规模图像数据“训练”,才是谷歌眼中通往未来的真正路径。