近年来,虚拟现实取得爆发式发展,科技巨头纷纷进军VR领域。
这确实推动了虚拟现实的技术进步。
这样的进步能走多远、能持续多久?是要爆发、迎来新的行业变革,还是继续走在“量变终将带来质变”的漫漫路上。
这或许只是行业从业者和追随者创作的一首长歌。
有深刻的圣歌,有短促的哀歌,有激情的摇滚,有自娱自乐,有迷茫,有回潮,但这一切都是未知的,我们只能静静等待。
看来,从今年年初开始,关于虚拟现实(Virtual Reality)将颠覆全球娱乐产业、“今年将是虚拟现实元年”的论调开始风起云涌。
全新的、全新的山寨产品层出不穷,仿佛即将成就大事的革命者纷纷到来。
这一切似乎都源于Oculus VR和他们的沉浸式VR眼镜,以及以Facebook为首的一批互联网巨头发布的各种利好消息。
一时间,VR成为了一个巨大的话题闪点:每一个初创团队、每一个行业焦点似乎都吸引着所有人的关注和遐想。
然而,这些话题最前沿的总是一个又一个的大鸡蛋,美其名曰穿越时空,美其名曰沉浸,美其名曰9D体验——虽然除了我们宇宙之外,我们生活中,其他6D只是商家在原始三维空间上投射的倒影。
这种反思并不是什么超越时代的新鲜事物。
在广东番禺的游戏机街上,随处可见这款动感座椅最基本的部件——铝制或钢制的桁架型材,与伺服电机和自制的减速齿轮箱通过串口线相连,传输简单的控制指令。
比较周到的老板可能会配置一个周立功版的单片机,??然后与客户的手机和PAD建立通信,从而形成一套完整的展厅中央控制系统。
总而言之,就是几千、几万,当然还有精致神秘的蛋壳、舒适的座椅、Oculus或者国内厂商的虚拟现实眼镜。
最后辅以一些人们习惯的VR内容,比如预先拍摄好的全景视频,或者激烈的第一人称射击游戏、飞行模拟游戏,可以大胆地搬到展会现场,或者聘请投资顾问来进行。
将自己置于垂直和水平位置。
十多年的行业经验值得夸耀。
而那些被仰慕或者有幸坐上大蛋壳的观众和粉丝,就像京极夏彦那部令人毛骨悚然的悬疑小说《魍魉之匣》中扭曲的内心受害者,被剥夺了四肢普遍恐惧、挣扎、尖叫、兴奋、冷静、沉思,疲劳、头晕、解脱……眼前的画面仿佛虚幻又真实,脚下虚幻的土地从未建立过,鲜红如血。
这就是我们期待的VR吗?或者说,仅仅依靠这样的经验就能颠覆传统,迎来全新的革命? 赤裸的另一个世界要实现一个完整的VR系统,不仅需要有别于二维屏幕的沉浸式观看方式,还需要一种能让人沉浸其中的交互方式,以及搭配方式。
数字内容。
因为玩家毕竟是活生生的人,拥有完整复杂的视觉、听觉、嗅觉、味觉和触觉系统。
当其中一种感官完全被替代时,显然其他感官的体验也需要被替代,或者合理地放弃,以免造成巨大的陌生感和不适感。
然而,现阶段的 VR 体验开发者往往会使用键盘、鼠标、摇杆、眼球转动、头盔敲击、手势以及各种奇怪的控制器……等交互方式来协调玩家的动作和身体感觉,完全被想象。
在现实社会中,正常人显然不会以这种方式进行交流。
人们比较习惯的方式有:行走、站立、握手、说话、直视对方的眼睛、揣摩嘴角的微笑、挥拳、举枪、奔跑、跳跃、感受呼吸还有痛苦、舔舐枪烟的苦涩——这些都不是VR眼镜、单一的显示设备、简单的机械运动外设能够给我们带来的。
尽管行业先行者不断创造新的概念和想法:比如可以敲击和触摸的头盔、挂在手臂上的感应环和体感摄像头,以及语音、空中手势、面部识别等,但它们仍然是它的核心。
是一种交互输入工具,需要重新理解、学习和适应,或者算法存在固有的本质无法完全克服,无法立即应用到每个玩家身上。
对于普通家庭娱乐参与者来说,如果将目光置于虚拟环境中,就被迫使用新的交互方式来适应环境本身,进而产生普通人难以理解的巨大学习成本。
那么它就不会给普通消费者带来任何欢乐和沉浸式体验——毕竟这不是特种兵的训练,也不是科学研究,我们不能指望参与者有优秀的素质和使命感——没有沉浸式体验体验,对于普通观众来说,只是一个昙花一现的打闹游戏,又如何去推广呢?普及度如何?是的,VR的娱乐体验不同于以往任何看似新的游戏方式或外设。
它不限于Wii交互设备尺寸和物理属性的多样化,也不限于Kinect现实虚拟游戏场景的多样化。
补充深度信息。
其交互过程需要更加符合真实的人类行为。
例如,玩家的全身动作被捕捉并传输到VR应用程序;然后获取玩家在实际场上的位置和精确的运动轨迹并反馈到虚拟场景中;然后玩家需要与场景中的其他人或物体进行交流:比如玩家伸手触摸虚拟世界中的墙壁,被灼热的火球直接击中脸部,或者深情地拥抱另一个玩家虚拟社交游戏。
她的身体,她的触感,她的温度,她如花的笑容——想象一下,如果你靠近虚拟世界的墙壁,你的手指挥舞着却什么也没有;或者你在一片辽阔无际的大草原上。
当你在路上开车时,你在小客厅里撞见了那台贵得离谱的 4K 电视。
看到这里你会感到震撼吗?相反,也许只是匆忙摘下眼镜后的恐慌和疼痛。
幸运的是,我们还有一盒怪物和一个大蛋,可以承载我们的理想,掩盖由于缺乏基本交互方式而带来的问题。
巨大的不真实感。
这是当今火热的虚拟现实应用的最大问题。
他们只是被束缚在一个狭小的座位上,经历着眼前有限的、粗糙的、延迟的、锯齿状的场景。
我们如何谈论 VR?交互体验矛盾论 上述问题并非完全没有解决办法。
第一个是动作捕捉。
Opti Track的光学动作捕捉设备多年来一直在影视行业流行。
穿着布满标记点的动作捕捉服,在密集摄像头的注视下,你可以捕捉到从全身到手指到面部表情的一切。
捕捉一切,在《猿族崛起》中将你从人类变成巨猿——这种体验令人兴奋,但数百万的代价也令人恐惧。
而就算有一天光学动作捕捉被仁慈定价,满天的摄像机都在盯着穿着黑色紧身光斑套装的你……恐怕没有多少人还有心情继续下去了。
他们的VR此时慢慢的。
游戏,这可能比在色情电影片场,在导演、制片人、摄影师、化妆助理和30多岁、40多岁的群众演员的注视下赤身裸体表演更有挑战性。
别担心,惯性动作捕捉来拯救你。
抛开老牌厂商Xsens,就看这两年中国制造的后起之秀Noitom。
它的价格、尺寸以及实惠的发展策略,足以让整个VR行业如鹿即鹿——只要麻将牌的尺寸简单固定即可。
借助动作捕捉组件和简单的三步校准过程,没有绊脚石,没有愚蠢的设备,也没有可怕的旁观者摄像机。
玩家的一举一动都会自然地转换成BVH动作数据输出,然后在VR实时引擎中绑定到游戏角色上。
经过这样的处理过程,玩家在场景中看到自己手臂挥舞、拿着枪、拿着刀剑已经不再困难,而其他人的动作通过服务器的统一处理和分配自然也会映入眼帘。
更真实的 VR 体验并不是幻想。
然而,噩梦并没有消失,或许还变得更加真实……惯性动作捕捉最大的问题来自于漂移。
由于角度和位移值是通过六轴传感器的积分和二次积分来计算的,没有绝对的世界参考点,传感器产生的误差很小但无法补偿。
这种不断积累的结果就是角色离原来的位置和姿势越来越远,甚至可能漂浮在空中无法自拔——而这无法纠正,只能通过愚蠢的“回归”来重置。
“归零”按钮(是的,这个归零按钮也是现在各种炫枪的常见做法),这显然彻底摧毁了我们刚刚建立的幻想。
并且由于初始位置无法确定,无论是Oculus眼镜还是惯性动作捕捉设备都需要玩家有一个预校准姿势过程,即玩家摆出系统预设的一个或几个姿势来帮助系统确定位置的部分。
初始状态——对于一个没有经验的玩家来说,这无疑是一场噩梦,除了被困在蛋壳里的经历。
此外,还有电池管理问题、复杂佩戴问题、手指和面部识别问题、反复跳跃和蹲下时的抖动或不准确问题、金属底座和磁场环境下的数据干扰问题以及复杂环境下的无线传输问题。
环境中的渠道问题都是当前惯性动作捕捉设备制造商必须面对的障碍。
在这些堆积如山的问题得到彻底解决之前,我们可能很难看到真正消费级产品的诞生。
,到了这个阶段,或许只有那些被称为专家的人才能够驾驭它们。
下面讲一下精确的虚拟空间定位方法和运动轨迹测量。
差分GPS应该是测绘行业非常常见的定位方案。
如果你在现场预先建立了足够的基站和误差补偿站,然后背上一个手机大小的接收器,你的位置就可以精确到毫米级——不过,“足够”基本上意味着你有大张旗鼓地在院子里布下龙门阵。
那就别怪邻居阿姨、怀孕的邻居举着横幅围观、咒骂。
然后采用CV方式,比如澳大利亚的Zero Latency,利用PS Move的摄像头和标记点来确定游戏的位置,然后打造出世界上第一个虚拟现实体验馆。
然而,他们使用PS Move的场地总共不到平方米,更何况,需要复杂而漫长的校准过程。
标定就是将各个相机的图像进行对齐和裁剪,形成完整的场景。
水晶石在为上海世博会做《清明上河图》展览时,对前后的投影仪进行了校准、对齐和几何匹配。
修正、边缘融合……花了三个多月的时间来调整——但如此艰苦的工作成就了一个伟大的项目。
是的,干得好——这怎么可能在每个人自己的家里发生得这么快?因此,零目前只开放了一个体验中心,维护成本未知,但或许我们可以拭目以待他们什么时候开放第二个体验中心,以及他们是否能够有足够的收入来维持运营以及投资者的决心。
至于让这种定位方式流行起来的难度,恐怕是不言而喻的。
对了,HoloLens和Kinfu中还有看似神奇的SLAM方法。
它们不能移植吗?当然。
事实上,BIM圈子里的天宝已经是第一个将这种方法应用到施工项目管理中的,而且只是一个手持设备。
然而,与之前提到的惯性运动捕捉算法类似,SLAM毕竟不是一个闭环系统。
它的计算也会有累积的误差,而且场景的复杂程度越高,这种累积的影响就越大。
明显的。
对于场景定位要求极其突出的VR应用来说,哪怕是一厘米的误差都可能是致命的失败体验。
比如说,如果你命悬一线,你只是够不到空中的绳子,或者如果你深情地吻着虚拟女友的嘴唇,却亲吻了恰好路过的武大郎,而武大郎恰好拿着蛋糕经过。
。
然而,还有许多其他的定位方法。
比如UWB、超声波,或者场馆内大量的RFID或者ZigBee……然而,复杂的工程实施需求早已超越了虚拟现实应用本身的命题,需要整合的经验丰富的团队也无能为力。
不再只是一群 Unity 或 Unreal 引擎的用户。
那么还有其他问题需要解决吗?喜欢人与人之间的触摸和气味吗?可以考虑医用硅胶、感温、或者4D5D6D影院喷头、香薰;如果有人打我该怎么办?你不妨穿一件也不算太劣质的力反馈背心,或者用微电流电击你产生疼痛;识别触摸墙和桌面?然后需要使用3D扫描和重建方法来精确匹配真实场地和虚拟场景,然后使用触摸膜和压电膜来反馈触摸信号;又比如如何把右手拿的枪改为左手拿的?或许双手戴上RFID、RSSI识别应该是一个可行的选择(不过下图中的The Void暂时把枪交给了另一名工作人员……)。
说说软件层面:比如面部动画可以通过FaceShift或者LipSync中间件处理;角色之间的精细动作,如接触、对抗等,需要引入成熟的IK库,如FinalIK、EmotionFX;人物物理模拟此时也变得必要,比如使用Havok或者PhysX;如果此时场景更新和渲染压力无法再达到 75Hz 目标,那么您还可以考虑从 Simplygon 到 Umbra3D 的 LOD 和遮挡查询。
工具;最后,还有负责减面的勤奋美工,还有日夜工作的开发人员……那么,还有哪些问题是通过努力无法解决的呢?虽然这个劳动实在是太辛苦了。
那么请来到能够理解并做到以上所有事情的VR应用团队,知道如何购买和使用各种虚拟现实交互设备,成熟地整合所有这些技术,最终创造出新的交互和视觉体验! ……如果有这样一支球队,为什么我们没有看到他们比赛呢?我们看到的只是头盔厂商时不时推出的几个寒酸案例,视频网站利用全景直播制造疯狂气势,当然还有虚幻的救援用最奇葩的材质构建出最真实的坐卧场景。
观看——是的,面对堆积如山的技术难题,更多人选择回归Monster Box。
也许你一开始很震惊,甚至因为著名的过山车演示而尿了裤子,但现在你不会为这种震惊买单。
在黑暗、模糊且容易起雾的黑匣子里,你只能看到一幅粗略的图片,你可以简单地环顾四周。
这是一种新奇的感觉,但需要忍受各种延误带来的晕车;劣质镜头色散强、非2K屏幕巨大锯齿、法线造成的动态锯齿、被迫坐以待毙。
动态的混乱感——这不是一个能持续超过20分钟的游戏模式。
换句话说,这就像20世纪90年代街上的万花筒。
50美分看一次,但没有人会买下来带回家天天看。
哦,对了,20 世纪 90 年代也出现了 VR 耳机(下图是 1996 年的杂志封面),还有一种说法是人类很快就无法区分虚拟世界和现实世界。
至于有没有提到“元年”这个词,也许不被人们记得了。
不知道是距离地狱半步,还是接近天堂。
然而,笔者只看到它最重要的组成部分是断肢和断臂。
他们站起来时可能会摇晃。
为什么他们就断定,只要一副“眼眼镜”就开始了,而千家万户创业者创造的近视+散光+时滞+锯齿状飞蚊症+过热后白内障的视力却能出现在千家万户?由于那些可怕的技术壁垒而变得空白的内容服务商,这些平台商在布局之后等待的杀手级应用是否真的会如雷贯耳呢?作者诚实又傲慢的言论,因为眼镜平台可以主动满足以上所有需求,因为没有门槛的开发者只能做最基本的VR应用,只能看全景大片(前提是你有足够的数据源),避免太交互多,避免网络传输、传统外设、空中操作等产生滞后和反交互特性的特性——比如拿着一把装了各种传感器和按钮就装上大枪,戴上酷炫VR魔镜,犹如碉堡,在虚拟战场上射击无双。
如果这叫VR,那就是它了;如果今年是第一年,那么至少海龙和E世界的空摊位可以迅速改造成VR游戏体验馆,我们可以一起享受这股热潮——虽然这样的体验馆似乎已经有不少了。
虽然看上去都一样,虽然无数看似已经冲上路的拓荒者,却在逐渐做着同样的事情。
不过,希望毕竟还是存在的。
虚拟现实并不是一个全新的概念,这些被大肆炒作的虚拟设备和内容也并非完全应运而生。
它们更多的是对以前处于技术前沿的昂贵产品的民用创新。
他们的诞生和崛起本身就是一种进步。
而这样的进步能走多远,能持续多久,是否会爆发并迎来新的行业变革,还是继续走在“量变终将带来质变”的漫漫道路上。
这或许只是行业从业者和追随者创作的一首长歌。
有深沉的吟诵,有短促的哀歌,有激情的摇滚,有的自娱自乐,有的迷茫,有的回潮,但是——只是没有尽头。