很多人每天都在使用智能手表，它的文字输入要么是语音，要么是打字或手写。但有时你可能不会说话，或者在这么小的屏幕上戳键盘可能有点“局促”。现在是什么？也许试试“空中打字”的方法。浙江大学开发了这样一款名为AirText的应用。只要动动手指和手腕，手表就能识别空中的字符，错误率低至3.9%。它还配备了预测和推荐功能，使拼写更快。为智能手表开发AirText的主要挑战之一是如何让它理解手腕运动和指尖拼写运动之间的对应关系。如下图所示，拼写时手腕的运动轨迹与正常字母有很大不同。为此，研究团队首先依靠现成的工具LeapMotion，它可以使用红外传感器跟踪手势。八名志愿者随后使用五款不同的智能手表拼出超过25,000个字符，使用LeapMotion收集相关的手腕和手指运动数据。然后将数据输入神经网络模型进行训练，最终AirText可以根据用户手腕的细微运动变化推断出指尖的运动轨迹。然后，智能手表可以高效准确地将推断出的轨迹识别为相应的字符。为了加快拼写速度，他们还为系统配备了单词预测和推荐功能。手表屏幕上会显示四个方向的预测词，我们可以通过上下左右倾斜手表（摇动手表退格）来选择。单词错误率为3.9%。我们先来看看AirText的准确度测试。衡量指标为WER（WordErrorRate），计算方式为拼错词/识别正确词。其中，错字分为三类：漏字（用I表示，即校对成正确拼写时需要插入的字数）、多字（用D表示，即错字数）需要删除的词），错别字（用S表示，即需要替换的词数）。将AirText与两种基线方法（IMU-CNN和BLSTM）进行比较，最终的AirText得分最低，即准确率最高。三者的平均得分分别为3.9%、30.9%和57.1%。以上是单个用户在单个设备上的评价结果??。为了更准确，他们还对多个用户和多个设备进行了测试，结果如下：左图中，同一用户使用5款不同的智能手表测试AirText得到的准确率分数分别为：8.3%、7.5%、6.5%、7.7%和3.9%。研究人员表示，7%的WER意味着平均每15个单词中有一个识别错误，这对于航空写作来说是可以接受的。右图中，8个不同用户使用同一块手表获得的WER分别为11.2%、5.9%、4.3%、4.0%、3.6%、5.9%、4.7%和3.9%。由此我们可以看出，不同的用户比不同的设备对准确性的影响更大。不过，研究人员表示，通过模型更新组件，AirTex仍然可以针对不同的用户实现高精度。然后是速度测试。由于BLSTM基线的WER约为57%，错误率过高，因此研究人员仅比较了AirText和IMU-CNN的速度。指标为WPM（每分钟字数，WordPerMinute），计算方式为输入字总数-错字数/次。因此，AirText的平均WPM为8.1，而IMU-CNNbaseline的WPM只有4.6。研究人员指出，这种输入速度可与一些基于双手触摸屏的文本输入方法相媲美（这些方法在实际应用中的WPM为9.1、9.8WPM）。总体而言，AirText的准确率不错，但速度有待提高。慢的主要原因是每拼一个字都需要停顿一会儿。研究人员正在努力解决问题，并表示有兴趣最终将AirText商业化。作者简介高毅，浙江大学计算机学院助理教授。他毕业于博士学位。来自浙江大学。他的研究兴趣包括嵌入式软件、无线和移动计算、传感器网络和信息物理系统。通讯作者为董伟，副教授，博士。浙江大学计算机学院导师。他也是博士。毕业于浙江大学。他的研究兴趣包括物联网系统和网络、边缘计算、无线和移动计算。其谷歌学术引用总计3000+。论文地址：https://ieeeexplore.ieee.org/document/9625777
