当前位置: 首页 > 科技赋能

眼球追踪和聊天机器人将如何颠覆 VR 交互?

时间:2024-05-22 18:02:54 科技赋能

传统的界面交互通常是通过固化在图像上的文字和图表来完成。

这一点在VR中似乎并没有太大改变。

这种交互形式的继承甚至会让放在虚拟现实世界中的体验变得更差。

距离控制不佳的交互界面会让用户感觉文字像报纸一样贴在脸上,而那些附着在控制器上的圆形界面通常会因视角不同而扭曲,破坏 VR 的沉浸感。

让整个交互过程变得异常突兀。

VR交互方面还有很大的优化空间,眼动追踪技术和聊天机器人的引入或许会带来一些意想不到的帮助。

FOVE早在2016年就开始研究VR耳机中的眼动追踪技术,试图让眼睛与虚拟现实场景进行交互。

Oculus的Palmer Luckey还表示,眼动追踪可以纠正VR图像中存在的许多问题。

另一方面,微软CEO纳德拉曾表示,聊天机器人未来将把人类语言变成UI,并可以通过语音对话控制部分软件界面和表单。

总体而言,眼动追踪技术和聊天机器人将从VR的用户界面、视觉体验、操作方式等领域逐步改变VR的交互方式。

  眼动追踪技术:增强场景反馈,实现画面局部渲染。

简单来说,眼动追踪是一种感知眼睛细微变化的技术。

根据我们观察的方向,眼睛会产生相应的特征。

通过这些特征的比较可以形成一套可以考虑的眼睛变化的参考,从而实现对眼睛变化的控制功能。

当用户与VR场景的模型进行交互时,往往需要通过控制器提供的指向UI来选择目标,然后使用相应的按钮来查看必要的信息。

这种交互方式极大地破坏了VR的沉浸感,会让体验者清楚地意识到触觉的缺失。

眼动追踪技术的使用可以有效避免这一缺点。

用户可以用眼球定位场景中的某个模块,以决定是否与其交互。

例如,利用眼球锁定房间模型,系统即可自动显示房间大小、建筑材料、住户信息等相关信息。

三星在过去几年中测试了这项技术。

他们的智能手机 Galaxy S4 配备了相对简单的眼控功能,可以暂停和恢复视频。

FOVE将眼球追踪技术转移到虚拟现实中,并开发了一种可以识别眼球运动的头戴式显示器,以提供更好的交互体验。

除了增强VR场景的交互体验之外,眼动追踪还可以实现与VR图片的交互。

这种交互不是形式上的硬交互,而是画面表现上的软交互。

当我们盯着画面中的某个区域时,实际上只能看清楚中间1到2度以内的物体,而其他部分就会“失焦”,变得模糊。

通过眼动追踪技术,VR耳机只能部分渲染中间部分,让VR画面主动适应人眼,一定程度上减少眩晕感。

这一解决方案一方面会让人们的虚拟现实体验更加舒适,另一方面也能有效节省硬件性能。

对周围场景进行模糊处理会大大减轻CPU、显卡、内存等部件的负载,降低整体舒适度。

配套PC和主机的制造成本。

Chatbot:取代固化的UI界面,增强人机交互。

聊天机器人在VR中最基本的应用就是取代固化的UI界面。

当我们需要查看房产、地图、社交手册等表单时,我们只需要通过简单的语音沟通即可,而无需点击屏幕上放置的浮动界面图标。

聊天机器人本身就是一个交互式界面,该技术在智能手机上最为人所知。

微软有两个著名的聊天机器人Cortana和小冰,两者都具有信息交互功能,并且Cortana已经扩展到定制行程、购物服务、软件调用等更高级别的应用。

Skype产品经理Lilian Rincon也表示:“Cortana就像一个秘书,时刻帮助你与第三方谈判。

”此外,Siri还深化了智能问答。

Stephen Wolfram 曾经创建了一个名为“Wolfram Alpha”的智能搜索引擎,而 Siri 正是基于这个引擎衍生出了回答问题的能力。

Siri的回答并不局限于文字描述,而是经常调用相关网页和流媒体视频来完成解释。

事实上,聊天机器人是人工智能的一个分支。

虽然人工智能还需要很长时间才能成熟,但这些现有的基础功能已经可以完全应用到VR交互中,为我们提供更方便的使用。

方式。

在虚拟现实的世界中,通过语音进行人机交互,聊天机器人可以大致理解我们想要表达的内容。

此外,VR中的虚拟人物、动物甚至机器都可以嵌入聊天机器人相关的特性来与我们互动,大大增强VR的真实性和沉浸感。

南加州大学的研究人员开发了一种名为“SimSensei”的机器学习工具,可以通过语言检测对话者的情绪变化。

目前,一些开发人员正在致力于在成人 VR 体验中使用聊天机器人。

相信使用“SimSensei”会让这种交互变得更加愉快。

两种技术的实施都存在困难,需要时间才能带来改变。

眼动追踪还没有我们想象的那么有用。

首先,当我们移动眼睛时,我们可以将其分为主观运动和无意识运动。

后者是身体的本能反应,几乎无法控制。

例如,当我们受到惊吓时,我们会不自觉地改变观看方向,而那个方向上的事物并不是用户想要交互的物体,因此眼动追踪很容易造成误操作。

目前的眼球追踪技术也很难区分主观操作和误操作,这会给我们的使用带来很大的麻烦。

在技??术投入初期,减少VR内容交互模块数量的唯一方法就是避免误操作。

除了眼动追踪技术的这一巨大缺点之外,还有一些小细节需要注意。

例如,在使用VR耳机时,不可避免地会伴随设备的振动,这会影响眼球追踪的准确性,需要不断优化硬件和算法。

每个人的眼球运动特征都不同,不同种族之间的差异就更大。

技术提供商可能需要为不同人群定制不同的设备。

对于VR中的聊天机器人,我们通常需要通过语音与他们进行交流,这就触及到了语音识别的缺点。

目前的语音识别只能在安静的环境下使用。

一旦涉及到本地化语音、噪声环境等问题,输入准确度就会大大降低,从而阻碍用户与聊天机器人之间的沟通。

语音操作还伴随着本地化问题。

不同语言需要提供不同版本的定制机器人。

每个虚拟现实内容所需的聊天机器人也具有不同的功能,因此很难形成通用的解决方案。

就聊天机器人本身而言,它无法完成像鼠标点击这样的连续操作,反馈周期的变化次数增多。

然而,改变需要时间。

对于VR来说,这些上层技术的进入需要以完整的硬件和内容为基础,而这个前提目前还没有达到。

但VR是一个很好的技术试验场,可以逐渐让这些技术进步。

虚拟现实的沉浸性要求我们摆脱手柄控制器等原始操作方式。

眼动追踪和聊天机器人无疑是交互形式的发展趋势。