电子技术的发展让我们随时随地享受一场“视听盛宴”，人类的听觉和视觉得到彻底解放。近年来，为设备添加“触觉”逐渐成为新的研究热点，尤其是在“Metaverse”概念的加持下，添加触觉无疑将大大增强虚拟世界的真实感。目前的触觉感知技术主要是通过“数据驱动”的方式来模拟和渲染触觉。该模型首先记录用户与真实纹理交互的信号，然后将信号输入到纹理生成部分，利用振动将触感“回放”给用户。用户。大多数最新方法基于用户交互运动和高频振动信号来模拟纹理特征，例如摩擦和微观表面特征。虽然数据驱动大大提高了模拟的真实感，但仍然存在很多局限性。例如，世界上有“无数种”的纹理。如果每个纹理都记录一次，所需的人力物力将难以想象，也无法满足一些小众用户的需求。人类对触觉非常敏感，不同的人对同一物体的感受也不同。数据驱动的方法并不能从根本上消除从纹理记录到纹理渲染的感知不匹配问题。近日，南加州大学维特比工程学院的三位博士生提出了一种新的“偏好驱动”模型框架，利用人类区分纹理细节的能力来调整生成的虚拟感知，最终能够实现相当逼真的触觉感知，论文发表在IEEETransactionsonHaptics。论文链接：https://ieeexplore.ieee.org/document/9772285preference-drivenmodel首先会给用户一个真实的触摸纹理，然后模型会使用几十个变量随机生成三个虚拟纹理，从中用户可以选择感觉最接近真实对象的那个。通过不断的试错和反馈，模型会通过搜索不断优化变量的分布，从而使生成的纹理更加贴近用户的喜好。这种方法比直接记录和回放纹理具有明显的优势，因为计算机读取的内容与人类实际感受到的内容之间始终存在差距。这个过程其实类似于“甲乙双方”。作为感知者（甲方），如果我们觉得触摸不对，就回调，让算法（乙方）修改重新生成，直到生成的效果满意为止。这其实很有道理，因为不同的人触摸同一个物体会有不同的感受，但是电脑释放的信号是一样的，所以需要根据每个人来定制触摸！整个系统由两个模块组成，第一个是深度卷积生成对抗网络（DCGAN），用于将潜在空间的向量映射到纹理模型，并在UPennHapticTextureToolkit（HaTT）上进行训练。第二个模块是基于比较的进化算法：在一组生成的纹理模型中，协方差矩阵自适应进化策略（CMA-ES）创建一个新的纹理模型以根据用户偏好反馈进行进化。为了模拟真实纹理，研究人员首先要求用户使用自定义工具触摸真实纹理，然后使用触觉设备触摸一组虚拟纹理候选，触觉反馈通过连接到设备手写笔的Haptuator传输。用户唯一需要做的就是选择最接近真实纹理的虚拟纹理，并使用简单的滑块界面来调整摩擦力，因为摩擦力对纹理感觉至关重要，并且因人而异。然后所有的虚拟纹理都会根据用户的选择按照进化策略进行更新，然后用户再进行选择和调整。重复上述过程，直到用户找到自己认为接近真实纹理的虚拟纹理并保存，或者找不到更接近的虚拟纹理。研究人员将评估过程分为两个阶段，每个阶段都有一组独立的参与者。在第一阶段，五个参与者分别为5个真实纹理生成和搜索虚拟纹理。第二阶段是评估最终保存的偏好驱动纹理（VTp）与其对应的真实纹理（RT）之间的差距。评价方法主要采用形容词评级（adjectiverating）的方式，对粗糙度、硬度和光滑度等感知维度进行评价。并比较了VTp、RT和数据驱动纹理（VTd）之间的相似性。实验结果还表明，在进化过程之后，用户能够有效地找到比数据驱动模型更真实的虚拟纹理模型。此外，超过80%的参与者认为偏好驱动模型生成的虚拟纹理评级优于数据驱动模型。触觉设备在视频游戏、时装设计和手术模拟中越来越受欢迎，甚至在家庭中，我们也开始看到用户使用与笔记本电脑一样流行的相同触觉设备。例如，在第一人称视频游戏中加入触感，会大大增强玩家的真实感。作者说，当我们通过工具与环境互动时，触觉反馈只是一种形式，一种感官反馈，而音频是另一种形式，两者都非常重要。除了游戏之外，这项工作对于需要非常准确的牙科或外科培训的虚拟纹理特别有用。“外科培训绝对是一个广阔的领域，需要非常逼真的纹理和触觉反馈；室内设计还需要在制造前的开发过程中对纹理进行高度准确的模拟。”从视频游戏到时装设计的一切在集成触觉技术时，现有的虚拟纹理数据库可以通过这种用户偏好方法得到改进。纹理搜索模型还允许用户从数据库中提取虚拟纹理，例如Penn的HapticTextureToolkit，可以对其进行细化，直到获得他们想要的结果。一旦这个技术与纹理搜索模型结合，那么你就可以使用别人之前记录的虚拟纹理，然后根据策略优化纹理。作者设想，在未来，模型可能甚至不需要真实的纹理。我们对生活中一些常见事物的感知是如此直观，以至于我们有一种天生的能力，可以通过查看照片而不参考真实纹理来微调我们的感官。例如，当我们看到一张桌子时，我们可以想象当我们触摸它时它会是什么感觉。使用表面的这种先验知识，我们可以向用户提供视觉反馈并允许他们选择匹配的内容。.文章第一作者卢诗涵目前是南加州大学计算机学院的博士生。他之前在沉浸式技术方面做过与声音相关的工作，即通过在工具与之交互时引入匹配的声音，让虚拟纹理更具沉浸感。身临其境。文章第二作者郑绵伦，南加州大学计算机学院博士生，武汉大学学士、硕士毕业。
