AR目前无法逾越的三座大山：视野、物体理解和自适应设计在潜在用户面前，开发者也有动力向市场提供引人入胜的沉浸式AR体验。看来我们在视频中看到的神奇魔法即将实现。诚然，我们比以往任何时候都更接近实现这个梦想，但现实是，在沉浸式AR成为主流之前，我们还有多年的研发和设计工作要做。下面，我们概述了AR面临的三个主要挑战。沉浸式视野在同一个VR体验中，对比不同的视野效果。在YouTube上观看炫酷的AR演示是一回事，在现实中体验AR又是另一回事。即使是当今最先进的便携式AR耳机，也没有很好的视野，甚至无法接近VR。就拿微软的HoloLens来说，它已经是市面上最好的AR头显了，但是34度的视野很差，就连谷歌的廉价VR产品Cardboard也有60度的视野。视野。对于AR来说，视野非常重要，因为要达到一定程度的沉浸感，AR世界必须与现实世界无缝融合。如果你不能实时看到眼前的AR世界，你会不自然地转动头部来“扫描”周围的环境，就像通过望远镜看世界一样。这样，大脑将无法通过直观映射将AR世界视为现实世界的一部分，所谓的沉浸感也会随之消失。其结果是，沉浸感还不足以成为人们的自然意识，这也就意味着这无法成为消费和娱乐市场的自然人机交互。不过，现在不是有Meta2AR眼镜吗？它的视野达到了90度，这还好吗？的确，Meta2是目前市面上视野最广的AR头显，几乎可以与目前2019年的VR产品相媲美，但Meta2的体积仍然很大，光学系统的尺寸无法在不牺牲一定视野的情况下减少。Meta2AR眼镜Meta2的光学元件其实非常简单。头盔上巨大的“帽檐”中隐藏着一块类似于智能手机的屏幕，屏幕向下倾斜到地面。此外，巨大的塑料护目镜内部镀银，可以将屏幕上显示的内容投射到用户的眼睛中。想要缩小耳机的体积，就得同时缩小屏幕和护目镜，这样视野角度也会缩小。对于开发者来说，Meta2是绝对的神器，但是如果放在消费者市场，消费者可能很难去关心它。ODG也在使用类似的解决方案来制造AR眼镜，但他们的光学系统已经瘦身，视野下降到50度。一款名为R-9的产品售价仍为1,800美元。从消费市场来看，这家伙不仅价格不合格，尺寸也不合格。相比之下，采用光导技术的Lumus采用2毫米厚的光学系统，实现了55度的视野。Lumus的50度视野虽然不错，但与最新VR设备的110度视野相比还是有差距，消费者对视野的追求是无止境的。Oculus此前也表示，要实现真正的沉浸感，视野至少要达到90度，所以AR必须尽快翻过这座山。理解不同的物体苹果的ARKit和谷歌的ARCore都可以给你带来新奇美好的AR体验，但由于智能手机的能力有限，这两个系统只能理解飞机上的“新世界”，也就是今天的iOS。地球上99%的AR应用程序都在墙壁或桌子上播放的原因。为什么一定要是桌面或墙壁？因为它们很容易分类。地板或墙与另一层地板和另一面墙处于同一平面，因此系统可以自信地假设该平面向所有方向延伸，直到它与另一个平面相交。请注意，我在这里使用“理解”等词而不是“感知”或“检测”，因为系统可以“看到”物体的形状（桌面和墙壁除外）。),但无法理解它们。打个比方，当你看一个杯子的时候，你看到的绝对不是一个形状。而且您已经对杯子了解很多，那么了解情况如何呢？您已经知道杯子与其所在的平面不同；即使不看它，您也知道它有空间容纳液体和其他物体；你知道杯子里的液体不会从杯子里流出来；你知道我们可以用杯子喝水；你知道杯子很轻，很容易被打翻，导致杯子里的东西洒出来。...似乎有点傻，但我可以继续。这里我列举上面的文字主要是想告诉大家，我们知道的常识计算机不知道。他们只能看到一个形状，看不到杯子。计算机无法获得杯子内部的全貌并绘制出完整的形状，计算机甚至无法假设杯子内部有一定的空间。它也不知道杯子是独立于其平面的物体。但你知道这一切，因为它对你来说就像一个杯子。计算机仅仅看到一个形状是不够的，它必须“理解”杯子。这就是为什么多年来我们一直在AR演示中将基准标记附加到对象，以实现更细粒度的跟踪和交互。那么为什么计算机很难“理解”杯子呢？最大的挑战是分类，因为杯子有数千种形状、尺寸、颜色和纹理。有些杯子还有特殊的属性和用途，所以不同的杯子适用于不同的场景和背景。如果要比较的话，难度相当于写一个算法帮助计算机理解以上所有概念，或者写几行代码向计算机解释杯子和碗的区别。仅仅解决单个杯子的问题就提出了如此巨大的挑战，以至于在世界上包含数千个物体更是困难。如今，基于智能手机的AR确实可以融入周围环境，但很难与之互动，这也是苹果和谷歌选择桌面和墙壁的原因。现有系统无法令人信服地与我们的周围环境互动，因为系统可以“看到”地板和墙壁，但无法“理解”它们。为了让我们梦想中的科幻AR成为现实（比如AR眼镜直接显示咖啡的温度或微波炉中的剩余时间），我们需要系统对我们周围的世界有更深层次的“理解”。那么，我们如何穿越这座山呢？答案中肯定有所谓的“深度学习”。我们不得不为各种类型的对象编写手写分类算法，即使是常见的算法也是非常复杂的任务。然而，我们可以训练计算机神经网络，这些神经网络被编程为随着时间的推移进行自我调整，并且能够可靠地检测周围的常见物体。一些业内人士已经开始在这个领域进行探索，并且也取得了一定的突破。在下面的视频中，系统初步能够检测出任意人、雨伞、红绿灯和汽车之间的区别。下一步，我们需要大大扩展分类，然后整合从AR跟踪系统收集的基于图像的检测和实时环境映射数据。一旦我们能够赋予AR系统理解我们周围世界的能力，我们就可以开始应对AR体验的自适应设计挑战。自适应AR设计的第三个问题还是需要打个比方。对于网页开发人员来说，扎实、实用的设计规则是多年发展的结果，这也是网页适应不同屏幕形状的原因。然而，与需要覆盖三个维度的任意环境的自适应AR设计相比，这是一项容易的任务。这不是一个简单的问题，即便是在VR游戏设计行业，设计者对这个问题的解决还处于基础阶段，只能针对不同的游戏场地大小进行设计。一般来说，VR游戏场地都是正方形或长方形，这个空间是玩家独占的，但AR要解决的麻烦要复杂得多。想象一下街对面的邻居拥有完全不同的家具和陈设，那么设计师将需要数年时间才能弄清楚如何创造令人信服的娱乐体验。毕竟，这种娱乐体验需要近乎独特的环境要求。它需要覆盖从地面到天花板的空间，然后放大到数以百万计的房屋和建筑物。当然，户外环境也不能忘记。您可能认为构建一个简单的AR射击游戏很容易，让NPC从特定房间出现。但不要忘记，如果不预先映射环境，AR系统甚至不知道房子里还有另一个房间。假设我们已经解决了对象分类问题，系统已经可以在人类层面上理解您周围的对象，开发人员如何构建利用这一突破的游戏？假设我们想构建一个简单的农场游戏，玩家可以在增强现实中用杯子种植和浇灌庄稼，但是如果你身边没有杯子怎么办？这游戏不能玩吗？当然不是，开发商很聪明，他们准备了很多备份方案。玩家可以将双手握成拳头当杯子，当他们倾斜拳头时，水就会流下来。解决了以上问题，我们就可以开始种田了。美国开发者希望玩家能准备一间屋子来种十行玉米，但对于欧洲玩家来说，这样的空间太奢侈了，家里根本没有那么多空间可以进行AR娱乐。如果需要，这个故事可以继续下去，但总的来说，如果我们想要体验身临其境的AR而不仅仅是地板和墙壁，我们需要设计自适应AR游戏和应用程序来利用我们周围的空间和物体。通过一些巧妙的设计，我们可以控制无数的变量。自适应AR设计是三个挑战中最难实现的，但我们理论上可以在满足需求的设备诞生之前设计它。在过去的一年里，不断有评论说AR和VR在成熟度上不相上下，但实际上AR比VR落后好几年。AR确实是一个令人兴奋的产品，但从硬件到感知再到设计都有巨大的提升空间。现在的AR真是赶上了好时光。这个领域相当开放，有很多新人突破的机会和空间。如果你有信心，现在绝对是进军AR的好时机。
