当前位置: 首页 > 科技赋能

【深度】谷歌成立虚拟现实部门, VR是否已进入产业化临界点?

时间:2024-05-22 12:10:36 科技赋能

进入几年后,虚拟现实将会火起来。

在短短三年内,虚拟现实已经从 Kickstarter 上的一个默默无闻的名字变成了科技界的家喻户晓的名字。

但有趣的是,到目前为止,还没有顶级的虚拟现实产品发布,大多数追随者也没有亲自尝试的经历。

这对于科技行业的产品来说是前所未有的。

而就在昨天,谷歌宣布成立虚拟现实部门。

考虑到Facebook、微软、三星、腾讯、HTC等大公司已经入局,谷歌正式成立部门似乎姗姗来迟;但考虑到尚未打开的消费市场,看来龙头们角逐的时机已经成熟。

早在2017年,谷歌就推出了低成本、便捷的VR体验包Cardboard。

与 Facebook 的 Oculus 相比,Cardboard 比其他任何东西都便宜,但它也必须忍受体验并不那么理想。

Oculus 创始人 Palmer Luckey 曾被问及 Oculus Rift 是否可以与更便宜的 Google Cardboard 项目竞争。

Luckey回答道:“是的,因为Rift其实很好。

这有点像问高端酒如何与浑水竞争。

”不过,如此低廉的价格并没有阻止谷歌的投资。

今年 4 月,谷歌推出了 Works with Google Cardboard 计划,允许第三方构建与 Google Cardboard 兼容的查看设备,例如改进后的 View-Master。

在Google Play商店中,有“Cardboard”的VR版块,谷歌持续为该项目做开发推广和内容合作。

这个 Cardboard 项目只是谷歌进军虚拟现实的冰山一角。

谷歌似乎正在慢慢整合各个部分,以完成一个全面的端到端解决方案。

它涵盖硬件和软件,尽管我们还不确定最终会采取什么形式。

但我们可以肯定的是,谷歌已经在 VR 项目上投入了大量资源。

这有点像手机行业。

GPU、传感器、4G网络的性能提升和成本降低,让手机得以大规模产业化,关键时刻巨头也纷纷入场。

现在,虚拟现实很可能也在这里。

谷歌虚拟现实团队背景负责人:Clay Bavor Clay Bavor毕业于普林斯顿大学,现在全职负责谷歌VR部门。

他曾负责 Gmail、Google Docs、Google Drive 和其他 Google 商业教育应用程序的产品管理和用户体验设计。

他也是谷歌纸板的创始人。

参与员工 据悉,参与虚拟现实的人员不少。

例如:谷歌搜索首席设计师乔恩·威利(Jon Wiley)从2002年开始从事软件开发,一直负责胡佛网络产品和信息框架的交互界面和用户体验。

目前致力于 Google Cardboard、VR 和 AR UX。

Alex Faaborg,Google Now 等的前首席设计师。

他毕业于康奈尔大学,曾负责 Android Wear、Google Now、Nexus 5 的 Android 操作系统,还为 Google Glass 的交互界面做出了贡献。

在加入 Google 之前,他是 Firefox 的首席设计师。

谷歌的虚拟现实产品线Cardboard谷歌Cardboard眼镜项目是一款可折叠智能手机头戴式显示器,由镜片、磁铁、魔术贴和橡皮筋组成,提供虚拟现实体验。

配备 3D 显示软件的智能手机适用于该设备。

镜头允许用户分别感知左图像和右图像以创建3D图像。

谷歌在其网站上提供免费的零件清单、原理图和组装说明,鼓励普通人使用容易获得的零件自行组装。

该硬件已在 Google I/O(六月)上发布。

该项目旨在以“最便宜”的价格体验虚拟现实。

因此,实际体验并不尽如人意。

Cardboard第三方计划 今年4月,谷歌启动了“Works with Google Cardboard”计划,允许第三方制造与Google Cardboard兼容的查看设备。

在Google Play商店中,有“Cardboard”的VR版块,谷歌持续为该项目做开发推广和内容合作。

开发者工具包 Cardboard还开发了适用于Android和Unity的标准开发者工具包(SDK),以方便开发者使用Unity 3D设计自己的VR工具或开发Android应用程序。

Google Play应用Google Play商店有一个单独的VR分区,其中包含许多为用户提供沉浸式体验的应用程序,包括Cardboard相机,可以拍摄VR照片并使用Cardboard设备重现兴奋感; Youtube视频内容可以通过Cardboard Glasses观看;现实教学,帮助教育工作者在教学过程中进行实地考察; VR游戏等。

与《纽约时报》合作《纽约时报》正在与谷歌合作开展虚拟现实项目,包括向订阅者运送超过10,000个Google Cardboard虚拟现实眼罩,而《纽约时报》将推出新的虚拟现实节目名为《The Displaced》(流离失所)的现实电影,讲述因战??争而流离失所的儿童。

该影片可以通过虚拟现实纸板护目镜观看,该护目镜需要与智能手机配合使用,并将于 11 月 7 日周末发送给《纽约时报》 报纸订阅者。

选定的数字订阅者将能够兑换眼罩通过电子邮件发送的代码免费。

沃尔沃与汽车制造商沃尔沃和谷歌合作。

通过下载沃尔沃的APP,将手机放在简易组装的Google Cardboard眼镜上,就可以体验沃尔沃新车XC90。

不仅可以清楚地看到车内,还可以在路上“驾驶”它。

谷歌Jump谷歌在2017年谷歌I/O大会上宣布了Google Jump的全新虚拟现实平台,其首款产品是与GoPro合作的全尺寸相机。

摄像设备可以提供3D视频。

编译后视频具有超高分辨率。

Jump相机与Youtube的合作,让VR爱好者可以通过Android版的Youtube应用程序观看Jump拍摄的虚拟现实视频。

谷歌VR硬件处理器谷歌自家的SoC芯片也表明谷歌不仅要进军VR领域,还要发展VR硬件领域。

为了推动VR的发展,据说谷歌将开发自己的片上系统。

The Information 的一篇报道称,谷歌正在与零部件供应商进行谈判,共同开发虚拟现实和增强现实的芯片设计。

报道援引消息人士的话说,谷歌一直在“寻找芯片的核心,以确保芯片供应商能够提供足够的动力”。

事实上,谷歌本身似乎也支持这份报告。

该公司公开发布了一份名为“多媒体芯片架构师”的职位招聘,将“领导芯片开发”,开发范围主要是“多媒体,包括图像处理、视频处理、稳定等”。

招聘要求是“SoC图像/视频/播放流水线相应经验”,最终目标是将芯片“产品化”。

Google TangoTango 项目正在开发一系列带有计算机视觉传感器的手机和平板电脑。

这使得该设备能够进行 3D 室内测绘、深度测量、增强现实以及开发人员可以想到的任何其他功能。

Tango项目于2016年发布了开发者工具包,谷歌表示已售出100多个开发者工具包。

在2018年谷歌I/O网络大会上,谷歌和LG宣布将在年会上发布商业产品,但这从未发生。

但在今年的 CES 大会上,谷歌和联想宣布首款商用 Tango 设备将于今年夏天上市。

2016年,Magic Leap获得谷歌高达5.5亿美元的B轮投资。

今年早些时候,《麻省理工评论》将 Magic Leap 技术评为年度十大技术突破之一。

该公司致力于增强现实的研究,它可以让你看到与现实世界无缝连接的虚拟3D物体。

Magic Leap 很少谈论其技术或策略。

但《麻省理工评论》了解到,该公司正在开发可以处理光的硅芯片,并邀请开发人员向该设备添加内容,但该设备尚未确定公开发布日期。

虚拟现实技术基础:以头戴式视觉设备(HMD)为例,手机行业的崛起是由GPU、传感器和4G网络的性能提升和成本降低推动的。

而现在虚拟现实很可能已经到了这一步。

我们梳理了虚拟现实背后的算法、技术和硬件设备基础,寻找其背后的工作方法。

头戴式显示器 (HMD) 可能是与虚拟现实相关的最容易被识别的东西。

有时它们也被称为 VR 耳机或 VR 眼镜。

正如您可能从名称中猜到的那样,这些显示设备位于您的头上并直接向您的眼睛显示图像。

至少,如果有一种设备满足这两个条件,你就可以称其为广义上的HMD。

HMD不仅应用于虚拟现实,还可以应用于军事、医疗、工程等领域。

一些头戴式显示器允许用户通过它们观察外部世界,将电子信息投射到他们看到的现实世界上。

这通常被称为“增强现实”。

当我们回顾虚拟现实领域现有的各种头显时,很明显这些设备不仅仅是绑在你眼前的两个屏幕。

无论是作为个人视听设备还是综合性的VR交互界面,为了获得沉浸式的体验,HMD都需要融合很多技术。

让我们来看看您应该了解的最重要的技术!显示技术 显然,显示屏是HMD最重要的组件之一。

毕竟这是大家在使用的时候最注意的地方。

当今的 HMD 设备使用各种技术将图像投射到眼球。

最常用的显示技术是液晶显示,也称为LCD。

LCD 还用于制造智能手机、电视和电脑的屏幕。

另一种类似的显示技术OLED(有机发光二极管)也已被一些HMD设备采用。

HMD显示器有两个非常重要的指标:刷新率和延迟。

像素和显示器随着智能手机和平板电脑掀起了一场军备竞赛,在小至几英寸的屏幕上生产高密度像素,头戴式显示器也加入了这一行动。

像素是构成图片的小点。

显示器上每平方英尺的像素越多,显示的图像就越真实。

苹果创始人兼前首席执行官史蒂夫·乔布斯表示,一旦达到每英寸像素 (ppi),人眼就无法再区分距离屏幕 10 到 12 英寸的单个像素。

现在,高端手机的显示屏正在向ppi迈进,这意味着对于普通智能手机来说,这些额外的像素根本就被浪费了。

对于 HMD 设备来说则不然——您的眼睛距离显示屏只有几英寸,而这些额外的像素密度将会带来天壤之别。

视网膜投影 另一种尚未大规模应用的显示技术,但确实存在于一些头戴式设备中——例如 Avegant 的 Glyph——称为视网膜投影。

其中使用的微型电子投影仪使用微透镜将图像投影到你的视网膜上。

它使用你眼球的后部作为屏幕。

视网膜投影的支持者认为,与采用LCD或OLED显示技术的HMD设备相比,采用视网膜投影技术的HMD在成像质量和眼睛疲劳方面具有优势。

然而,限于目前的技术水平,视网膜投影尚无法提供其他技术可以提供的沉浸式视图。

刷新率 刷新率是指显示器在一段时间内更新其显示内容的速度。

一般来说,液晶电脑屏幕每秒可以达到60次,也就是60Hz。

这也意味着最大帧速率为每秒 60 帧。

电影一般是每秒 24 帧。

最近的一些新电影,例如《霍比特人》,已升级到每秒 48 帧 (fps)。

对于观众来说,这使得电影看起来更流畅、更真实。

对于在线视频(例如 YouTube 上的视频),60fps 慢慢开始流行,尤其是使用 GoPro 等相机拍摄的动作视频。

既然虚拟现实想要的是给人一种身临其境的临场感和沉浸感,那么我们就需要问应该达到什么刷新率。

看来60fps是最低门槛,90fps的表现会相当不错。

一些 HMD 设备甚至支持 Hz 的刷新率。

延迟 延迟是输入和输出之间的时间间隔。

例如,如果您在虚拟世界中转动头部,并且您看到的图像需要 1 到 2 秒才能赶上您的新头部位置,您将经历显着的延迟。

为了欺骗大脑的视觉系统,虚拟现实需要非常低的延迟——通常需要 20 毫秒或更短的时间才能获得一流的体验。

不幸的是,延迟并不是可以轻易解决的问题:它不仅仅取决于您的显示器。

从位置传感器到计算机硬件,一切都会影响图像传输到显示器的速度,并且每个组件都会增加一点延迟。

因此,低延迟的显示是必须的,但仅靠它往往是不够的。

光学 如果您拿起手机并将液晶显示屏放在您的面前,您很可能不会看到任何变化。

为了营造虚拟世界的沉浸感,屏幕上的平面图像需要放大到足以充满视野。

南加州大学的一个研究团队进行了一项实验,结果表明,任何试图实现无边界和沉浸式视觉效果的 HMD 设备都需要保持 90 度的视野(FOV)。

HMD 中的镜头对此至关重要。

我们的视野不像屏幕那样是方形或平坦的,因此光学技能至关重要。

HMD 光学设计有很多种,对于应该使用什么镜头及其背后的原因也有不同的看法,但共识是镜头的质量非常重要。

使用廉价镜头的 HMD 设备可能会出现图像质量差、清晰度差和不必要的失真等问题。

对于已售出的 HMD 设备,可以进行的最重要的升级通常是更换为更先进的镜头。

头部跟踪 如果您能清楚地看到图像,那就太好了,但如果不知道您的头部在哪里,计算机就无法理解您在看哪里。

现代 HMD 设备使用各种技术来准确跟踪头部的位置。

由于智能手机技术的不断发展,我们现在可以在芯片上放置多轴加速计,红外跟踪摄像头可以准确捕获头戴式显示器上的标记,从而将位置信息传输到计算机。

非固定位置使用的移动HMD无法使用外部摄像头进行跟踪。

原因非常明显。

然而,有一些新技术——例如微软的 Hololens 和谷歌的 Tango 计划中使用的技术——可以通过使用加速度计进行跟踪。

另外,还可以添加多种传感器来完成位置计算。

眼动追踪 目前,至少有一款 HMD 设备 (FOVE) 声称集成了眼动追踪技术。

但也有一些第三方为其他 HMD 产品提供此类升级包。

眼动追踪使 HMD 能够计算您正在看的位置,然后利用该信息执行某些操作。

例如,它可能会调整屏幕上图像的深度,以更接近地模拟自然视觉,虚拟角色可能能够对您的目光做出反应,或者您可能只需看着它们就可以快速选择虚拟世界中的菜单项。

眼动追踪是一种重要且有用的输入,使我们能够更自然地与界面交互。

眼动追踪技术才刚刚进入虚拟现实领域,时间会告诉开发者最终会用它做什么。

音频硬件 关于 HMD 设备的音频,没有太多可说的。

一些 HMD 设备配有内置耳机部件,而另一些则没有。

可以选择使用自己的耳机的 HMD 设备也很常见。

这些设备附带的耳机可以取下。

计算机硬件HMD既是输入设备又是输出设备。

它可以跟踪您头部的运动并将图像投射到您的眼睛中。

在这两个步骤之间是计算硬件的领域。

事实上,从计算硬件来看,所有的HMD都可以分为三类。

第一种是具有完全内置计算硬件的设备。

这些通常是移动的、电池供电的系统。

通常,该硬件是具有扩展用途的智能手机,甚至使用智能手机来执行所有所需的计算。

第二种类型的HMD设备本身不具有任何计算能力,并且连接到外部计算机。

通常这种HMD设备接受HDMI输入并使用USB接口传输头部跟踪数据。

第三种是前两种的结合,有自己的内置硬件,并允许连接外部设备。

虽然智能手机硬件的性能足以提供一定程度的虚拟现实体验,但仍远远落后于电脑和主流游戏机所能做到的。

因此,从视觉保真度和帧速率的角度来看,专用的外部计算硬件仍然是最佳选择。

其他硬件 HMD 可以由多种材料制成:纸板、塑料、金属以及将组件固定在一起的任何其他材料。

考虑可以对特定 HMD 设备进行哪些调整非常重要。

头带的调节范围是关键点之一。

如果您戴眼镜,请记得确认HMD设备是否可以容纳眼镜,或者是否可以调整HMD镜片,使您不再需要戴眼镜。

最后,舒适的衬垫和人体工程学常常被忽视,但却很重要。

输入配件 如前所述,HMD 可以捕获有关您头部位置的信息,但更多样化的输入形式也是必不可少的 - 除非您愿意站在固定点,既不走动也不与其他事物交互。

目前,探索虚拟世界最流行的方式是通过现有的视频游戏外围设备。

这包括游戏控制器、飞行控制杆、赛车方向盘以及鼠标和键盘。

已经有一些专为 VR 设计的更具沉浸感的设备,并且更多设备正在开发中,包括全向跑步机和 SteamVR 控制器等设备。

在高端市场,您可以找到跟踪全身运动的系统、机械力反馈设备、液压驱动的机械手等。

它们都与 HMD 协同工作,带来更好的交互性和沉浸感。

它是怎么运行的?更不用说视网膜投影等不太常见的技术了,大多数使用 LCD 或 OLED 成像的 HMD 设备都是通过向双眼呈现相似但略有不同的图像来工作的。

这会产生三维幻觉,大多数人将其视为 3D 图像。

您可能已经猜到,这需要对每只眼睛进行单独成像,但为了节省成本并降低复杂性,大多数 HMD 设备都会向双眼呈现相同的图像。

呈现的图像本身并没有填满整个视野,也不是一个完美的正方形。

如果您直接看屏幕而不将设备放在头上,您会看到两个图像都有模糊的灰色边框。

这模拟了我们的视野——视野中心的部分非常锐利,当我们靠近边缘时,锐度会降低。

当在正确的距离通过镜头观看时,图像会很好地贴合我们的视野,看起来非常自然,就好像我们看到的不是图片而是真实的场景。

因此,当这些技术结合在一起时,您会感觉身临其境。

无论你往哪里看,你看到的都是围绕在你周围的虚拟现实,而不是现实世界。

这就是 HMD 构成虚拟现实幻象的方式。