手势识别是一种用户界面，它允许计算机捕捉和解释非语言交流，包括面部表情、头部动作、身体姿势和手部动作，作为命令。手势是一种越来越普遍的计算机控制模式，用于识别手势的传感器类型也在增加。本文简要回顾了今天的手势控制是如何实现的，探讨了手势未来可能的应用，并总结了用于识别、解释和响应手势的各种类型的非视频传感器的调查，包括电场感应、激光雷达、高级电容技术和触觉。最初，所有手势识别都依赖于实时视频源的解释。基于视频的基本手势识别仍然被广泛使用。这是一个计算密集型过程，其工作原理如下：相机将图像数据与来自深度感应设备（通常是红外传感器）的数据配对，并将其输入计算机以捕捉三维动态手势。手势识别软件将捕获的图像数据与手势库进行比较以找到匹配项。然后，该软件将识别出的手势与相应的命令进行匹配。一旦手势被识别和解释，计算机要么确认用户想要的命令，要么简单地执行与该特定手势相关的命令。在复杂环境中，可以使用骨骼和面部跟踪以及语音识别和其他输入来增强基本视频信息（图1）。图1：基于摄像头的手势识别广泛用于受益于非接触式计算机控制的应用。（图片来源：Marxent的3DCloud）汽车应用汽车内饰是基于视频的手势识别系统新兴用途的一个很好的例子。当前的汽车手势识别系统使驾驶员和乘客无需触摸按钮或屏幕即可控制信息娱乐系统或来电。在这种环境下，手势识别有望提高安全性，因为驾驶员可以使用简单的手部动作代替复杂的菜单界面操作，让他们更专注于驾驶车辆。语音控制系统也可以让司机专注于道路，但使用起来更复杂。大多数当前的语音控制系统不使用自然语言，它们需要精确的语音命令，并且可能涉及长菜单链以达到所需的特定命令。由于其对用户的简单性，手势识别的汽车应用有望扩展到其他系统，例如加热和冷却、内部照明控制、远程信息处理系统，甚至连接到远程智能家居系统。该系统结合了语音识别和手势识别的最佳功能。摄像头安装在汽车内饰的基于摄像头的手势识别系统中，通常可以从天花板等高度获得相关内部空间的无障碍视野。当前系统只关注驱动程序。未来，随着车内摄像头数量的增加和图像质量的提高，监控空间的范围有望扩大到包括乘客在内。监控区域由红外LED或激光照亮，即使在低光照条件下也能提供最佳图像质量。如上所述，手势是实时分析的，机器学习可以不断提高准确性。图2显示了BMW7系识别的一些手势。图2：在BMW7系汽车中编程的手势示例。（图片来源：Aptiv）电场手势识别电场接近感应(EFPS)是基于附近轻微导电的物体对电场的扰动。EFPS的一个实施例是一种微电子设备，可以检测移动和静止的物体，甚至是非导电固体材料。它的工作原理是感应两个天线电极产生的极低功率电磁场的微小变化。它的可调范围为几厘米到4米，并且其操作与接地阻抗无关。EFPS和其他电场传感器提供少量数据。与光学手势识别系统相比，它们更小、更轻并且需要的功率更少。在另一个实施例中，手势感应IC使用电极感应电场变化并计算物体（例如手指）的位置，从而提供三维位置数据并将运动模式实时分类为手势（图3）。通过使用电场感应，该系统对可能干扰其他3D手势感应技术运行的光、声音和其他环境条件完全不敏感。图3：未失真的等势电场线（左）与被人手指扭曲的相同等势电场线（右）的比较。（图片来源：Microchip）这种特定的3D手势感应IC针对电池供电设备进行了优化，感应电极由低压信号驱动，可选择42、43、44、45和100kHz信号。由于电场传感器可以穿透非导电材料，因此可以将它们封闭在防风雨外壳或建筑物的内墙中。除了便携式手势感应应用之外，EFPS系统目前还部署在各种感应应用中，包括：可以确定抓取物体属性的机械手确定座位是否有人的汽车安全气囊系统使用激光雷达的光检测和测距(LIDAR)用于为消费和工业系统中的手势识别带来独特的性能范围。一个示例是基于940nm不可见垂直腔面发射激光器(VCSEL)的LIDAR设备，该设备具有集成驱动器和单光子雪崩二极管(SPAD)接收阵列。该系统使用基于飞行时间(ToF)测量的多区域测距。它作为一个集成的6.4mmx3.0mmx1.5mm模块提供，包括一个VCSEL（垂直腔面发射激光器）发射器和接收器，以及一个嵌入式SPAD和基于直方图的ToF处理引擎（图4）。图4：这个基于VCSEL的恢复识别模块包括一个用于手势识别的TOF处理引擎。（图片来源：STMicroelectronics）这款基于LIDAR的模块体积小、功耗低，有望在一系列应用中集成非接触式手势识别，包括AR/AV耳机、平板电脑、手机和厨房等住宅产品家电、恒温器和其他智能家居控制装置，以及电梯控制装置、交互式标牌和售票机以及自动售货机等设备。该传感器在4×4（16区域）快速测距模式下每秒可提供高达60帧的帧率。在高分辨率模式下，传感器测量64个场(8×8)。按比例缩小的电容式手势识别基于微型碳纳米管纸复合电容式传感器的电容式3D手势传感器已开发用于集成到游戏设备和其他消费电子产品中。与上一代电容式手势传感器相比，碳纳米管纸基设备速度提高了10倍，体积缩小了100倍，并且可以在高达20厘米的更大范围内操作（图5）。它们无需任何手持设备或其他设备即可识别3D手势，并且比红外传感器更快、更准确。此外，它们对肤色和光照条件等环境因素不敏感。图5：这种基于碳纳米管纸的手势识别设备比前几代电容式传感器快10倍，体积小100倍。（图片来源：Somalytics）摄像头+超声波触觉专为VR/AR耳机设计的新系统将基于红外摄像头的手势识别与触觉反馈相结合。该系统使用IRLED照亮用户的手，LED的脉冲与相机帧速率同步。相机通过每个脉冲将当前位置信息发送到处理器。处理器中的手势识别软件对骨骼、关节和手部运动进行建模。这使系统能够准确知道拇指或手指的位置，即使它不在视线范围内。该系统可以通过编程来识别各种手势，包括抓取、滑动、捏合、推动等等。手势识别系统的交互区域范围为10cm至1m，典型视野为170°x170°。除了识别手势外，该系统还知道人的手在哪里，并可以使用该信息来控制基于超声波的触觉反馈。超声波触觉系统基于在特定时间差触发的扬声器矩阵，使声波能够聚焦在空间中的特定点，例如，人手的特定部位所在的位置（图6）。3D焦点可以根据应用的需要实时改变。超声波在焦点处的组合振动会产生可在人体皮肤上感觉到的压力点。图6：聚焦超声可以为基于红外摄像头的手势识别系统添加触觉反馈。（图片来源：Ultraleap）总结基于视频的手势识别仍然是使用最广泛的手势识别形式。它用于各种应用，包括医疗环境和汽车驾驶室。最近，手势识别已应用于AV/VR系统、楼宇自动化系统和机器人技术。新的手势识别技术正在推动手势识别应用的不断增长，包括电场感应、基于VCSEL的激光雷达系统、碳纳米管电容器件以及结合超声波触觉反馈的红外摄像头。
