Labs简介虚拟现实（VR）、增强现实（AugmentedReality，AR）等业务由于其三维、自然交互、和空间计算。它被认为是下一代通用计算平台。自2012年谷歌发布AR眼镜GoogleGlass、2014年Facebook收购VR头显厂商Oculus以来，VR/AR行业经历了2015-2017年的创业与资本狂潮，2018年行业退潮。2019年底5G遍地开花，VR/AR作为5G核心业务场景被重新认识和重视，产业回暖。2020年虽然受疫情影响，但世界各地的生产生活都受到了不同程度的影响。然而，VR/AR行业因祸得福。疫情带来的社会隔离，刺激了VR游戏、虚拟会议、AR测温等需求的爆发。Steam平台VR活跃用户翻倍，虚拟会议、云展会案例层出不穷。目前，VR/AR/MR/XR的各种*R概念满天飞，让人眼花缭乱。本期希望先对这几个概念进行区分和分析。未来，我将进一步分析目前XR的核心技术，梳理目前的应用场景和行业状况，展望未来的发展。1.虚拟现实（VirtualReality，VR）概念：VR是包装视听场景数字内容的渲染版本。当观察者或用户在应用程序定义的范围内移动时，渲染旨在尽可能自然地模拟真实世界的视觉和听觉感官刺激。VR通常（但不一定）要求用户佩戴一个用模拟视觉组件完全取代用户视野的平视显示器，以及一个为用户提供伴随音频的耳机。VR中通常还需要对用户进行某种形式的头部和运动跟踪，以更新模拟的视觉和音频组件，以确保图像和声音源与用户视角下的用户动作一致。还可以提供与虚拟现实模拟交互的其他方式，但不是必需的[1]。发展历程：虚拟现实VR为梦想而生，让梦想成真。1935年，小说家斯坦利·温鲍姆在小说中描述了一种VR眼镜，以眼镜为基础，包含了视觉、嗅觉、触觉等全方位沉浸式体验的虚拟现实概念，这部小说被认为是世界上第一个提出虚拟现实概念的作品。有了方向，下一步就是追梦人的舞台。1957年，电影摄影师MortonHeiling发明了一种名为Sensorama的模拟模拟器，它使用三面显示屏来营造空间感。它太大了，用户需要坐在椅子上。只有将头伸入设备，才能体验到沉浸感，如图1-1左侧所示。图1-1。早期的VR设备1968年，美国计算机图形学之父、图灵奖获得者IvanSutherland研制出第一台计算机图形驱动的头戴式显示器，达摩克利斯之剑（SwordofDamocles），如图1所示-1右边，也是增强现实的雏形。VR呈现给用户的是一个与现实环境隔绝的纯虚拟环境，通常以平视显示器的形式出现，具有超强的沉浸感，因此主要作为娱乐和娱乐进入大众视野。社交工具、消费级产品层出不穷。整个行业已经成熟。典型的VR头显如下：图1-2。VR耳机样品手机盒：这类耳机的显示效果完全取决于插入眼镜的手机的屏幕分辨率、处理器速度、传感器精度。谷歌的Cardboard和三星的GearVR属于这一类，市场上价格最低。PC/PS4主机头戴显示器：为了达到出色的显示效果，需要连接PC（索尼的PSVR连接PS4），使用PC的CPU和显卡进行运算。如原理图所示，会有很多连线。观看效果好但移动性差。典型的例子包括HTCVIVOPROEYE和SONYPlayStation?VR。一体机头显：一体机使用移动芯片（如高通骁龙系列）进行图像和定位计算。摆脱了PC/PS4或手机等外接设备的束缚，即刻使用非常方便。目前比较典型的有Oculusquest和Pico的NeoCV。目前一体机逐渐成为主流。VRGlass：目前最轻的VR头显，类似主机头显，需要连接手机，使用手机芯片处理数据。一个典型的例子就是华为的VR眼镜，重量只有200g，非常轻。VR的阻隔和隔离沉浸既是优势也是劣势，但由于脱离现实，实用性不足，所以第二条发展路线是差异化AR。2.增强现实(AR)概念：AR是针对用户提供附加信息的图像，或者是人工生成的对象或覆盖在他们当前环境上的内容。这些附加信息或内容通常是视觉或听觉的，对当前环境的观察可以是直接的，无需中间转换、处理和渲染，也可以是间接的，因为它们对环境的感知是通过传感器中继的，并且可以被增强或处理[1].人物第一视角看到的环境仍然是真实场景，通过技术手段（显示器、眼镜等）将虚拟内容融入到人眼看到的真实场景中。虚拟内容不是基于对真实环境的实时了解，而是比较简单。拼凑起来。发展历程：增强现实AR为实用而生。时间线如下图所示。图1-3。AR的发展史AR的发展一波三折。从最初的原型开始，AR就采用了先进的光学透视显示，但进展并不顺利，沉寂多年。AR概念由波音研究员TomCaudell于1990年提出，随后在ToB专业领域崭露头角，如美国空军开发的虚拟求助系统、哥伦比亚大学的KARMA维修求助系统等。增强现实通过在平板显示器（电脑、电视、手机）上叠加真实图像和虚拟物品，进入大众视野。1998年，AR首次被用于直播足球比赛的进攻黄线，带来革命性的是第一个增强现实SDKARToolkit，作为第一个AR开源框架发布，让AR技术走出专业研究机构，以及很多普通的程序员也可以用它来开发自己的AR应用。现在有多种支持手机应用开发的AR引擎，将AR带入我们的日常生活，但通过平板显示器的显示方式，沉浸感较差。因此，人们并没有放弃沉浸感更高的可穿戴设备的AR实现。谷歌在2012年6月推出了谷歌眼镜，但效果并不理想，未能成为精品。现在虽然有消费级的AR眼镜，但是成熟度不高，很有可能这两年会有突破。图1-4。AR眼镜样例3.混合现实（MixedReality，MR）概念：MR是AR的一种高级形式。将虚拟元素融入到物理场景中，提供一个虚拟与现实相结合的场景，即这些元素是真实场景的一部分[1]。在MR场景中，大部分虚拟内容是基于对现实的理解而产生的，因此在体验上比纯虚拟化的场景更真实。发展历程：MR混合现实是梦想与现实的融合。混合现实出现的时间晚于VR和AR，对其认识也存在争议，尤其是与AR的界限难以划清。早在1994年，PaulMilgram和FumioKishino就在论文中提出了混合现实的定义，并用虚拟连续体（VirtualityContinuum）坐标的形式来说明三者之间的关系。初始概念如图1-5所示。左侧可以理解为肉眼所见的真实物理世界。随着坐标轴向右移动，现实世界的虚拟化（或数字化）程度逐渐增加。你在AR舞台上看到的视觉信息仍然以真实环境为主，最右边是与现实脱钩，处于完全虚拟化的环境中就是VR。从现实世界到完全虚拟化环境VR的转换过程统称为MR，是现实与虚拟的融合过程。（论文中提到了增强虚拟的概念，但并没有被大众广泛接受，也没有形成单独的产品。）图1-5。现实与虚拟的坐标比较[2]根据这个定义，MR最初是一个过程的概念，它不是一个具体的技术栈，而是在过程中，根据人眼看到的现实与虚拟的结合程度，VR/AR等不同体验的产品品类应运而生。但随着行业的发展，以微软为代表的部分厂商将MR定义为VR/AR的融合技术，提供一种将真实场景虚拟化的体验。这里。以下是微软如何区分这三者之间的关系：在物理世界的视频流上叠加图形的体验是“增强现实”。挡住视线呈现数字图像的体验就是“虚拟现实”。在增强现实和虚拟现实之间实现的体验形成“混合现实”。图1-6。微软对VR、AR、MR的划分与AR相比，主要是实现了将虚拟物体直接显示在现实世界的图像上，而MR则是让虚拟物品不仅仅作为图像出现在现实世界中，而是融入到现实中世界“以更真实的方式”，或者反过来让现实空间中的物体融入虚拟空间，打破两个空间的隔离，两个空间中的实体可以相互影响，给人一种感觉现实。无缝体验。技术难度是三者中最高的。MR是AR的增强。与其说是MR眼镜，不如说是具有MR功能的AR眼镜或VR眼镜更合适。目前主流市场只有微软HoloLens和MagicLeap产品提供MR功能，但并不成熟。图1-7。MR功能眼镜示例用下面这组图进一步帮助大家区分AR和MR。先看图1-8，这是一个真实逼真的实体办公场景。图1-8。真实办公场景图1-9是在识别出真实办公室中的真实平面后，将虚拟物体如狗、地球、显示器、花瓶等嵌入到真实世界图像的平面上。因此，展示内容是一个典型的AR场景。图1-9。AR场景图1-10，调整环境使其虚拟化，整个办公室完全不同，但办公室的边界清晰可见，真人化身为虚拟形象，现实中没有建模的物品会像便携式电脑一样消失，此时，数字化的真实场景和虚拟场景相互理解，融为一体。因此，它与VR完全不同，它提供了另一种完全数字化的虚拟场景体验，与人眼所见的现实脱钩。当观察者以这种视角四处走动时，他可以避开真实的桌子、墙壁和人。因此，在这个概念中，MR可以看作是VR和AR的融合技术。图1-10。MR场景4.扩展现实（eXtendedReality，XR）概念：XR是指计算机技术和可穿戴设备产生的所有真实和虚拟的结合环境和人机交互。代表形式有AR、MR和VR以及它们之间的交叉场景。虚拟关卡范围从部分感官输入AR到完全身临其境的VR。XR的一个关键方面是人类体验的扩展，特别是与存在感（以VR为代表）和认知的获得（以AR为代表）相关[1]。发展历程：由于MR和AR之间往往很难有明确的界限，而且三者的发展相互关联，技术有重叠，所以2016年11月，特别是高通提出了扩展现实XR的概念。最热心的，推出了虚拟现实/增强现实集成XR芯片。根据高通的定义，扩展现实XR是一个涵盖性术语，包括增强现实(AR)、虚拟现实(VR)、混合现实(MR)以及介于两者之间的一切。虽然AR和VR提供截然不同的革命性体验，但相同的底层技术正在为XR提供动力。早前，XR是在视觉领域被提出作为人类可见光谱的延伸，如紫外红外等，但它并不是虚拟现实/增强现实领域相关的概念，这里不再赘述.以上是对XR概念的介绍。未来，我们将继续探讨XR的关键技术、应用场景、行业状况和未来趋势。参考文献[1]MilgramP,KishinoF.混合现实视觉显示的分类[J]。IEICETRANSACTIONSonInformationandSystems,1994,77(12):1321-1329.[2]MannS、FurnessT、YuanY等人。所有现实：虚拟、增强、混合(x)、中介(x,y)和多媒体现实[J].arXiv预印本arXiv:1804.08386,2018。
