VR在游戏和互动娱乐领域的前景已经非常清晰。
对于许多人来说,这就是他们多年来不放弃的原因。
但虚拟现实还有更大的潜力——成为一个真正的新计算平台,像手机一样改变世界。
尽管这一愿景已经持续了数十年,并在虚拟现实领域占据着重要地位,但真正让 VR 广泛普及并打入大众市场的道路还不太清晰。
杀手级应用程序会是什么样子?哪些使用场景可以更早成为主流?哪些会落后一些?本文将和大家聊聊各种消费级应用所需的知识和能力。
这张图是整个分析的一个概览,下面我们会详细解释。
技术基础 VR并不是单一的技术,而是多种技术的融合。
这些技术大多数都处于不同的发展和成熟阶段。
不同的消费应用在这些领域有不同的应用。
因此,任何对市场进入时机的分析都必须基于对技术的理解。
VR作为通用计算平台有四大技术领域。
1.意图捕获意图捕获是能够随时可靠、流畅地了解用户需求的能力,或者称为输入方式,例如VR游戏中的用户行为捕获。
到目前为止,消费者虚拟现实在这一领域还相当缺乏。
Valve Lighthouse 和 Oculus Touch 的最新发展将大大改善这种情况。
手势输入仍然是用户表达意图最自然的方式。
下图为 Oculus Touch。
除了手势输入之外,由于目前大多数VR设备都是头戴式的,捕捉用户头部的运动也可以方便地让用户直接操作眼前看到的虚拟世界。
三维空间的右手笛卡尔坐标如下图所示。
俯仰是绕 X 轴的旋转,偏航是绕 Y 轴的旋转,滚转是绕 Z 轴的旋转。
在 VR 耳机中,倾斜头部意味着滚动,摇头意味着偏航,点头意味着俯仰。
依靠重力感应和陀螺仪传感器,我们可以捕获用户头部运动的中心点并将其映射到虚拟空间中的坐标,如下图绿点所示,从而实现某些用户交互,例如确定是否激活当前空间中红框区域代表的兴趣点。
2. 角色捕捉 角色捕捉包括感知、编码和再现用户的外表、行为、情绪、非语言线索和当前应用程序所需的其他信号。
可以想象,未来商务人士不需要成为空中飞人艺术家,而是可以利用VR来开始各种虚拟会议。
你可以观察参与者的一举一动,甚至他们的表情和情绪。
但目前来看,这是技术领域最不成熟的部分,尤其是缺乏消费级的解决方案。
目前的解决方案大多需要借助一些辅助设备,捕捉到的人物精度也越来越高,可以应用在影视创作和游戏开发中。
下图是使用kinect实时捕捉面部动作的示例。
光学设备不仅可以捕捉面部表情,还可以捕捉全身动作。
其原理是,将多个摄像机从不同角度拍摄的图像采集到计算机中后,通过视觉算法过滤掉无用信息,然后计算出每个标记点的空间位置,并根据该位置得到关节的旋转角度。
根据已知的骨骼信息。
如下图所示,使用两个相机帧中相同标记点的位置来计算其空间位置的简单数学表达式,以及捕获的动作的示例。
3.环境捕捉环境捕捉是指感知、编码和再现现实世界的环境。
环境捕捉可以分为相对简单的全景视频和全景几何捕捉——后者需要应用更复杂的计算机透视技术。
这些技术正在迅速发展并走向成熟。
JauntVR、NextVR、GoPro、Matterport等公司都在紧锣密鼓地进行研发,完整的产品很快就会出现。
通过相机标定、传感器图像畸变校正、图像投影变换、匹配点选择、全景图像拼接融合以及亮度和色彩平衡处理,可以在VR头盔中获得全景摄像设备捕获的图像或几何信息。
看过视频。
VR头盔的两个镜片可以看作是两个相同的放大镜。
如下图光路剖面图所示,人眼位于实线和左侧光轴的焦点处,中间是双凸透镜,右侧是屏幕。
由于镜头具有弯曲光线的功能,人眼看到屏幕上方的x位置,给人的感觉是沿着虚线从较高的位置进入人眼,就好像屏幕被放大了一样到 x' 的大小。
VR头盔镜头呈现更大视野的同时,也带来了畸变。
通俗地说,畸变就是图像的畸变,给人一种中间凸起(桶形畸变)或者凹陷(负畸变)的感觉。
这也是像差的一种,是由于人眼在光学系统中的前后位置造成的。
差异造成的。
因此,在图像呈现给用户之前,首先进行桶形畸变,如下图所示,以抵消镜头造成的枕形畸变,让用户感觉不到镜头畸变带来的不真实感。
不同VR头盔的镜片具有不同的畸变系数,形成畸变补偿方程来适应不同畸变程度的镜片,从而达到能够使用不同镜片的目的。
4、环境渲染环境渲染(Environment Rendering)是很多人想到VR时想到的:高质量地渲染虚拟世界,包括所有相关的感知方法。
Oculus的演示展示了消费级产品出色的渲染能力,为用户带来身临其境的沉浸感,这也标志着现代VR的到来。
VR头盔强调的沉浸感一方面取决于屏幕的大小,另一方面取决于镜片弯曲光线的能力,这就是视角(FOV)的概念。
这也是VR厂商经常宣传的一个参数。
下图是我们渲染的一个剧院的3D模型,以及在移动设备上呈现的虚拟影院效果。
当然,所有这些领域都包含许多独立的技术,对 VR 应用程序近期潜力的任何真正评估都需要比此处列出的更多细节。
无论技术有多好,设计元素都需要以友好的方式呈现给用户。
我们将本部分要讨论的内容广义地称为“设计元素”。
它包括以下三个方面。
1。
可用性包括 UI/UX 的所有方面。
用户界面和用户体验是消费产品最重要的部分。
如何简单高效地向用户传达技术能力,同时准确捕捉用户意图?相信随着意图捕获的技术能力更加成熟,这部分会得到更好的解决。
2. 叙事能力是指我们讲述故事、小说或其他事物的能力。
这些内容内容丰富、引人入胜且具有相关性。
在我看来,在未来的VR电影中,观众不仅会感到身临其境,还会获得更强的参与感:观众可以随时从任何角度观看,从而获得无数种可能的视角。
从某种程度上来说,这种VR电影体验更像是向电影观众提供一些素材,电影观众根据自己的关注点对电影进行“编辑”,从不同的角度自我理解和解读电影。
3、信息呈现信息呈现(InformationPresentation)是指我们描述想法、数据、图表等抽象概念、思维导图、信息图表、技术图纸等所需要的专业知识。
毫无疑问,设计的所有领域——可用性、叙事、信息呈现——在 VR 中仍处于起步阶段。
应用 现在我们知道了技术和设计的必要元素,让我们看看应用。
图表中线条的粗细表示应用程序对这些区域的依赖程度。
有些应用技术门槛较高。
如果这些技术基础不完善,这些应用就无法真正进入市场。
在这些领域,新企业想要起步,就需要进行这些基础研发。
个人通信就是一个很好的例子:我们还没有可以处理实时人物捕捉的消费级解决方案。
一旦这些技术被开发出来,这个空间就会向所有人开放。
其他领域则更多地受到我们设计知识的限制——我们不知道什么样的体验是最好的。
生产力工具就是最好的例子。
很快,Oculus 和 Vive 都将向市场推出出色的手势识别输入控制器,而剩下的主要技术障碍——意图识别——将不复存在。
但是 Word、Excel、PowerPoint 和 Photoshop 在 VR 中会是什么样子呢?它们如何工作?我认为我们对可用性和界面设计缺乏了解是我们面临的主要障碍。
那么什么样的应用可以投放市场,或者可以快速投放市场,什么样的应用还需要等待机会呢? 1.短期(9-18个月)>>游戏:当然依赖性最强的是渲染,已经相当成熟了。
对其他技术的依赖性较弱,可以使用一些较早的技术来工作。
叙事手段在短期内可能会出现问题,因为人们需要学习如何构建和发展故事情节。
>>直播:除了渲染之外,主要依赖的是环境捕捉——不过这个领域发展得真快!直播所依赖的内容的其他部分超出了本文的范围,例如内容运营、云计算技术等。
>>房地产:此类应用的门槛在于快速、廉价地捕捉室内环境并准确地。
像 Matterport(室内环境建模软件)这样的软件就可以做到这一点。
>>新闻业:有效的 VR 新闻业需要将叙事技术和环境捕捉结合起来——这两个领域都需要更多的发展。
不过,早期利用现有技术的尝试也能成功,然后慢慢与最新的技术成果相结合。
今年11月6日,《纽约时报》正式推出虚拟现实新闻客户端“NYTVR”,为读者提供“沉浸式”视频,声称“看新闻视频比3D/IMAX更精彩”。
2. 中期(1.5-3 年)>> 生产力工具:此类应用程序的生存取决于它们激发、捕获和响应我们意图的能力。
精确高效的输入解决方案即将到来,但设计人员和开发人员需要一些时间才能弄清楚如何最好地利用这些输入设备。
虽然此类应用在中期就上市了,但很多重要的作品还需要数年时间才能完善并发布。
>>社区:与他人交流感兴趣的话题——这也是互联网最原始、最持久的应用。
在 VR 中实现它需要良好的角色捕捉(一个主要障碍)和出色的产品设计,但此类应用程序将在相对较短的时间内面世。
>>电影:讲故事不受重大技术障碍的影响,全景相机正在迅速发展。
这个阶段的主要困难是创造力——如何用这种媒介讲故事。
Oculus、谷歌以及许多传统工作室和制作公司已经在努力探索这一领域。
>>教育:这个有点难分析,因为不同的科目有不同的需求。
历史和文学与戏剧和旅行有很多共同点,而细胞生物学和技能培训更像是游戏。
>>旅行:这几乎都是关于环境捕捉 - 让我们感觉我们真的在我们所在的地方,这需要尽可能高的保真度和尽可能多的感官通道。
3、更远(3-5年)>>商务会谈:需求非常复杂,从高度还原的人际关系、信息和想法的呈现,到可靠的产品设计。
当前的会议解决方案(例如 GoToMeeting)的体验很糟糕,在个人和公司转向此类技术之前,还有很多需要改进的地方。
>>个人通信:这一类应用还很遥远,需要能够捕捉微妙动作的人类捕捉技术,包括人类使用的所有非语言形式的交流。
除非有重大技术突破,否则不会出现令人满意的解决方案来取代现有的通信方式。
>>扩展感知:另一个难以分析的应用——通过数据显示和感官输入,以全新的视角向我们展示真实和虚拟的世界。
这需要等待设计指南成熟以及最合适的数据流变得实用。
我们缺少什么?本次分析主要阐述了不同VR应用的技术和设计要求——这也是决定能否做出有竞争力产品的主要因素。
但VR成为新的计算平台的过程中还有很多其他问题需要解决。
其中一些如下:中间件、引擎、分布式平台和授权工具。
这些幕后模块对于将您的应用程序推向市场非常重要。
当然,其中许多会在短期内产生机会。
市场规模、货币化、商业模式。
所有这些应用程序都有广阔的市场,有些应用程序特别大,有些应用程序有明确的货币化路径。
以房地产为基础的业务和以网络体育转播为基础的业务是完全不同的。
广泛的消费者接受度和耳机普及率。
有些应用程序需要广泛的消费者基础。
其他人只需要早期采用者即可启动。