进入几年后,虚拟现实将会火起来。
在短短三年内,虚拟现实已经从 Kickstarter 上的一个默默无闻的名字变成了科技界的家喻户晓的名字。
但有趣的是,到目前为止,还没有顶级的虚拟现实产品发布,大多数追随者也没有亲自尝试的经历。
这对于科技行业的产品来说是前所未有的。
而就在昨天,谷歌宣布成立虚拟现实部门。
考虑到Facebook、微软、三星、腾讯、HTC等大公司已经入局,谷歌正式成立部门似乎姗姗来迟;但考虑到尚未打开的消费市场,看来龙头们角逐的时机已经成熟。
早在2017年,谷歌就推出了低成本、便捷的VR体验包Cardboard。
与 Facebook 的 Oculus 相比,Cardboard 比其他任何东西都便宜,但它也必须忍受体验并不那么理想。
Oculus 创始人 Palmer Luckey 曾被问及 Oculus Rift 是否可以与更便宜的 Google Cardboard 项目竞争。
Luckey回答道:“是的,因为Rift其实很好。
这有点像问高端酒如何与浑水竞争。
”不过,如此低廉的价格并没有阻止谷歌的投资。
今年 4 月,谷歌推出了 Works with Google Cardboard 计划,允许第三方构建与 Google Cardboard 兼容的查看设备,例如改进后的 View-Master。
在Google Play商店中,有“Cardboard”的VR版块,谷歌持续为该项目做开发推广和内容合作。
这个 Cardboard 项目只是谷歌进军虚拟现实的冰山一角。
谷歌似乎正在慢慢整合各个部分,以完成一个全面的端到端解决方案。
它涵盖硬件和软件,尽管我们还不确定最终会采取什么形式。
但我们可以肯定的是,谷歌已经在 VR 项目上投入了大量资源。
这有点像手机行业。
GPU、传感器、4G网络的性能提升和成本降低,让手机得以大规模产业化,关键时刻巨头也纷纷入场。
现在,虚拟现实很可能也在这里。
谷歌虚拟现实团队背景负责人:Clay Bavor Clay Bavor毕业于普林斯顿大学,现在全职负责谷歌VR部门。
他曾负责 Gmail、Google Docs、Google Drive 和其他 Google 商业教育应用程序的产品管理和用户体验设计。
他也是谷歌纸板的创始人。
参与员工 据悉,参与虚拟现实的人员不少。
例如:谷歌搜索首席设计师乔恩·威利(Jon Wiley)从2002年开始从事软件开发,一直负责胡佛网络产品和信息框架的交互界面和用户体验。
目前致力于 Google Cardboard、VR 和 AR UX。
Alex Faaborg,Google Now 等的前首席设计师。
他毕业于康奈尔大学,曾负责 Android Wear、Google Now、Nexus 5 的 Android 操作系统,还为 Google Glass 的交互界面做出了贡献。
在加入 Google 之前,他是 Firefox 的首席设计师。
谷歌的虚拟现实产品线Cardboard谷歌Cardboard眼镜项目是一款可折叠智能手机头戴式显示器,由镜片、磁铁、魔术贴和橡皮筋组成,提供虚拟现实体验。
配备 3D 显示软件的智能手机适用于该设备。
镜头允许用户分别感知左图像和右图像以创建3D图像。
谷歌在其网站上提供免费的零件清单、原理图和组装说明,鼓励普通人使用容易获得的零件自行组装。
该硬件已在 Google I/O(六月)上发布。
该项目旨在以“最便宜”的价格体验虚拟现实。
因此,实际体验并不尽如人意。
Cardboard第三方计划 今年4月,谷歌启动了“Works with Google Cardboard”计划,允许第三方制造与Google Cardboard兼容的查看设备。
在Google Play商店中,有“Cardboard”的VR版块,谷歌持续为该项目做开发推广和内容合作。
开发者工具包 Cardboard还开发了适用于Android和Unity的标准开发者工具包(SDK),以方便开发者使用Unity 3D设计自己的VR工具或开发Android应用程序。
Google Play应用Google Play商店有一个单独的VR分区,其中包含许多为用户提供沉浸式体验的应用程序,包括Cardboard相机,可以拍摄VR照片并使用Cardboard设备重现兴奋感; Youtube视频内容可以通过Cardboard Glasses观看;现实教学,帮助教育工作者在教学过程中进行实地考察; VR游戏等。
与《纽约时报》合作《纽约时报》正在与谷歌合作开展虚拟现实项目,包括向订阅者运送超过10,000个Google Cardboard虚拟现实眼罩,而《纽约时报》将推出新的虚拟现实节目名为《The Displaced》(流离失所)的现实电影,讲述因战??争而流离失所的儿童。
该影片可以通过虚拟现实纸板护目镜观看,该护目镜需要与智能手机配合使用,并将于 11 月 7 日周末发送给《纽约时报》 报纸订阅者。
选定的数字订阅者将能够兑换眼罩通过电子邮件发送的代码免费。
沃尔沃与汽车制造商沃尔沃和谷歌合作。
通过下载沃尔沃的APP,将手机放在简易组装的Google Cardboard眼镜上,就可以体验沃尔沃新车XC90。
不仅可以清楚地看到车内,还可以在路上“驾驶”它。
谷歌Jump谷歌在2017年谷歌I/O大会上宣布了Google Jump的全新虚拟现实平台,其首款产品是与GoPro合作的全尺寸相机。
摄像设备可以提供3D视频。
编译后视频具有超高分辨率。
Jump相机与Youtube的合作,让VR爱好者可以通过Android版的Youtube应用程序观看Jump拍摄的虚拟现实视频。
谷歌VR硬件处理器谷歌自家的SoC芯片也表明谷歌不仅要进军VR领域,还要发展VR硬件领域。
为了推动VR的发展,据说谷歌将开发自己的片上系统。
The Information 的一篇报道称,谷歌正在与零部件供应商进行谈判,共同开发虚拟现实和增强现实的芯片设计。
报道援引消息人士的话说,谷歌一直在“寻找芯片的核心,以确保芯片供应商能够提供足够的动力”。
事实上,谷歌本身似乎也支持这份报告。
该公司公开发布了一份名为“多媒体芯片架构师”的职位招聘,将“领导芯片开发”,开发范围主要是“多媒体,包括图像处理、视频处理、稳定等”。
招聘要求是“SoC图像/视频/播放流水线相应经验”,最终目标是将芯片“产品化”。
Google TangoTango 项目正在开发一系列带有计算机视觉传感器的手机和平板电脑。
这使得该设备能够进行 3D 室内测绘、深度测量、增强现实以及开发人员可以想到的任何其他功能。
Tango项目于2016年发布了开发者工具包,谷歌表示已售出100多个开发者工具包。
在2018年谷歌I/O网络大会上,谷歌和LG宣布将在年会上发布商业产品,但这从未发生。
但在今年的 CES 大会上,谷歌和联想宣布首款商用 Tango 设备将于今年夏天上市。
2016年,Magic Leap获得谷歌高达5.5亿美元的B轮投资。
今年早些时候,《麻省理工评论》将 Magic Leap 技术评为年度十大技术突破之一。
该公司致力于增强现实的研究,它可以让你看到与现实世界无缝连接的虚拟3D物体。
Magic Leap 很少谈论其技术或策略。
但《麻省理工评论》了解到,该公司正在开发可以处理光的硅芯片,并邀请开发人员向该设备添加内容,但该设备尚未确定公开发布日期。
虚拟现实技术基础:以头戴式视觉设备(HMD)为例,手机行业的崛起是由GPU、传感器和4G网络的性能提升和成本降低推动的。
而现在虚拟现实很可能已经到了这一步。
我们梳理了虚拟现实背后的算法、技术和硬件设备基础,寻找其背后的工作方法。
头戴式显示器 (HMD) 可能是与虚拟现实相关的最容易被识别的东西。
有时它们也被称为 VR 耳机或 VR 眼镜。
正如您可能从名称中猜到的那样,这些显示设备位于您的头上并直接向您的眼睛显示图像。
至少,如果有一种设备满足这两个条件,你就可以称其为广义上的HMD。
HMD不仅应用于虚拟现实,还可以应用于军事、医疗、工程等领域。
一些头戴式显示器允许用户通过它们观察外部世界,将电子信息投射到他们看到的现实世界上。
这通常被称为“增强现实”。
当我们回顾虚拟现实领域现有的各种头显时,很明显这些设备不仅仅是绑在你眼前的两个屏幕。
无论是作为个人视听设备还是综合性的VR交互界面,为了获得沉浸式的体验,HMD都需要融合很多技术。
让我们来看看您应该了解的最重要的技术!显示技术 显然,显示屏是HMD最重要的组件之一。
毕竟这是大家在使用的时候最注意的地方。
当今的 HMD 设备使用各种技术将图像投射到眼球。
最常用的显示技术是液晶显示,也称为LCD。
LCD 还用于制造智能手机、电视和电脑的屏幕。
另一种类似的显示技术OLED(有机发光二极管)也已被一些HMD设备采用。
HMD显示器有两个非常重要的指标:刷新率和延迟。
像素和显示器随着智能手机和平板电脑掀起了一场军备竞赛,在小至几英寸的屏幕上生产高密度像素,头戴式显示器也加入了这一行动。
像素是构成图片的小点。
显示器上每平方英尺的像素越多,显示的图像就越真实。
苹果创始人兼前首席执行官史蒂夫·乔布斯表示,一旦达到每英寸像素 (ppi),人眼就无法再区分距离屏幕 10 到 12 英寸的单个像素。
现在,高端手机的显示屏正在向ppi迈进,这意味着对于普通智能手机来说,这些额外的像素根本就被浪费了。
对于 HMD 设备来说则不然——您的眼睛距离显示屏只有几英寸,而这些额外的像素密度将会带来天壤之别。
视网膜投影 另一种尚未大规模应用的显示技术,但确实存在于一些头戴式设备中——例如 Avegant 的 Glyph——称为视网膜投影。
其中使用的微型电子投影仪使用微透镜将图像投影到你的视网膜上。
它使用你眼球的后部作为屏幕。
视网膜投影的支持者认为,与采用LCD或OLED显示技术的HMD设备相比,采用视网膜投影技术的HMD在成像质量和眼睛疲劳方面具有优势。
然而,限于目前的技术水平,视网膜投影尚无法提供其他技术可以提供的沉浸式视图。
刷新率 刷新率是指显示器在一段时间内更新其显示内容的速度。
一般来说,液晶电脑屏幕每秒可以达到60次,也就是60Hz。
这也意味着最大帧速率为每秒 60 帧。
电影一般是每秒 24 帧。
最近的一些新电影,例如《霍比特人》,已升级到每秒 48 帧 (fps)。
对于观众来说,这使得电影看起来更流畅、更真实。
对于在线视频(例如 YouTube 上的视频),60fps 慢慢开始流行,尤其是使用 GoPro 等相机拍摄的动作视频。
既然虚拟现实想要的是给人一种身临其境的临场感和沉浸感,那么我们就需要问应该达到什么刷新率。
看来60fps是最低门槛,90fps的表现会相当不错。
一些 HMD 设备甚至支持 Hz 的刷新率。
延迟 延迟是输入和输出之间的时间间隔。
例如,如果您在虚拟世界中转动头部,并且您看到的图像需要 1 到 2 秒才能赶上您的新头部位置,您将经历显着的延迟。
为了欺骗大脑的视觉系统,虚拟现实需要非常低的延迟——通常需要 20 毫秒或更短的时间才能获得一流的体验。
不幸的是,延迟并不是可以轻易解决的问题:它不仅仅取决于您的显示器。
从位置传感器到计算机硬件,一切都会影响图像传输到显示器的速度,并且每个组件都会增加一点延迟。
因此,低延迟的显示是必须的,但仅靠它往往是不够的。
光学 如果您拿起手机并将液晶显示屏放在您的面前,您很可能不会看到任何变化。
为了营造虚拟世界的沉浸感,屏幕上的平面图像需要放大到足以充满视野。
南加州大学的一个研究团队进行了一项实验,结果表明,任何试图实现无边界和沉浸式视觉效果的 HMD 设备都需要保持 90 度的视野(FOV)。
HMD 中的镜头对此至关重要。
我们的视野不像屏幕那样是方形或平坦的,因此光学技能至关重要。
HMD 光学设计有很多种,对于应该使用什么镜头及其背后的原因也有不同的看法,但共识是镜头的质量非常重要。
使用廉价镜头的 HMD 设备可能会出现图像质量差、清晰度差和不必要的失真等问题。
对于已售出的 HMD 设备,可以进行的最重要的升级通常是更换为更先进的镜头。
头部跟踪 如果您能清楚地看到图像,那就太好了,但如果不知道您的头部在哪里,计算机就无法理解您在看哪里。
现代 HMD 设备使用各种技术来准确跟踪头部的位置。
由于智能手机技术的不断发展,我们现在可以在芯片上放置多轴加速计,红外跟踪摄像头可以准确捕获头戴式显示器上的标记,从而将位置信息传输到计算机。
非固定位置使用的移动HMD无法使用外部摄像头进行跟踪。
原因非常明显。
然而,有一些新技术——例如微软的 Hololens 和谷歌的 Tango 计划中使用的技术——可以通过使用加速度计进行跟踪。
另外,还可以添加多种传感器来完成位置计算。
眼动追踪 目前,至少有一款 HMD 设备 (FOVE) 声称集成了眼动追踪技术。
但也有一些第三方为其他 HMD 产品提供此类升级包。
眼动追踪使 HMD 能够计算您正在看的位置,然后利用该信息执行某些操作。
例如,它可能会调整屏幕上图像的深度,以更接近地模拟自然视觉,虚拟角色可能能够对您的目光做出反应,或者您可能只需看着它们就可以快速选择虚拟世界中的菜单项。
眼动追踪是一种重要且有用的输入,使我们能够更自然地与界面交互。
眼动追踪技术才刚刚进入虚拟现实领域,时间会告诉开发者最终会用它做什么。
音频硬件 关于 HMD 设备的音频,没有太多可说的。
一些 HMD 设备配有内置耳机部件,而另一些则没有。
可以选择使用自己的耳机的 HMD 设备也很常见。
这些设备附带的耳机可以取下。
计算机硬件HMD既是输入设备又是输出设备。
它可以跟踪您头部的运动并将图像投射到您的眼睛中。
在这两个步骤之间是计算硬件的领域。
事实上,从计算硬件来看,所有的HMD都可以分为三类。
第一种是具有完全内置计算硬件的设备。
这些通常是移动的、电池供电的系统。
通常,该硬件是具有扩展用途的智能手机,甚至使用智能手机来执行所有所需的计算。
第二种类型的HMD设备本身不具有任何计算能力,并且连接到外部计算机。
通常这种HMD设备接受HDMI输入并使用USB接口传输头部跟踪数据。
第三种是前两种的结合,有自己的内置硬件,并允许连接外部设备。
虽然智能手机硬件的性能足以提供一定程度的虚拟现实体验,但仍远远落后于电脑和主流游戏机所能做到的。
因此,从视觉保真度和帧速率的角度来看,专用的外部计算硬件仍然是最佳选择。
其他硬件 HMD 可以由多种材料制成:纸板、塑料、金属以及将组件固定在一起的任何其他材料。
考虑可以对特定 HMD 设备进行哪些调整非常重要。
头带的调节范围是关键点之一。
如果您戴眼镜,请记得确认HMD设备是否可以容纳眼镜,或者是否可以调整HMD镜片,使您不再需要戴眼镜。
最后,舒适的衬垫和人体工程学常常被忽视,但却很重要。
输入配件 如前所述,HMD 可以捕获有关您头部位置的信息,但更多样化的输入形式也是必不可少的 - 除非您愿意站在固定点,既不走动也不与其他事物交互。
目前,探索虚拟世界最流行的方式是通过现有的视频游戏外围设备。
这包括游戏控制器、飞行控制杆、赛车方向盘以及鼠标和键盘。
已经有一些专为 VR 设计的更具沉浸感的设备,并且更多设备正在开发中,包括全向跑步机和 SteamVR 控制器等设备。
在高端市场,您可以找到跟踪全身运动的系统、机械力反馈设备、液压驱动的机械手等。
它们都与 HMD 协同工作,带来更好的交互性和沉浸感。
它是怎么运行的?更不用说视网膜投影等不太常见的技术了,大多数使用 LCD 或 OLED 成像的 HMD 设备都是通过向双眼呈现相似但略有不同的图像来工作的。
这会产生三维幻觉,大多数人将其视为 3D 图像。
您可能已经猜到,这需要对每只眼睛进行单独成像,但为了节省成本并降低复杂性,大多数 HMD 设备都会向双眼呈现相同的图像。
呈现的图像本身并没有填满整个视野,也不是一个完美的正方形。
如果您直接看屏幕而不将设备放在头上,您会看到两个图像都有模糊的灰色边框。
这模拟了我们的视野——视野中心的部分非常锐利,当我们靠近边缘时,锐度会降低。
当在正确的距离通过镜头观看时,图像会很好地贴合我们的视野,看起来非常自然,就好像我们看到的不是图片而是真实的场景。
因此,当这些技术结合在一起时,您会感觉身临其境。
无论你往哪里看,你看到的都是围绕在你周围的虚拟现实,而不是现实世界。
这就是 HMD 构成虚拟现实幻象的方式。