有了机器学习,没有软键盘也照样打字。为什么?靠想象。韩国科学技术院的一项新研究提出了一种完全基于想象的键盘:I-Keyboard。在这个界面上看不到软键盘上字母的布局、形状和大小。通过机器学习,您可以从触摸屏的任何区域准确地打字。研究人员声称,与传统的虚拟键盘相比,这种新颖的触摸打字键盘可以让大多数人达到95.84%的准确率。建立一个系统建立这个系统的第一步是找到一组不需要人类使用软键盘打字的触摸位置数据。研究人员招募了43名经常使用QWERTY键盘的志愿者,并使用他们的数据构建了数据集。所谓QWERTY键盘就是我们平时电脑和手机的26键输入法上的字母布局。这些志愿者需要在研究人员的指导下输入一些固定的句子,包括从Twitter和20个新闻数据集中随机抽取150-160个句子,并在正式开始前用15个句子进行热身。最后,每个参与者花了大约15分钟输入了总共7,245个短语和196,194次击键。论文中展示的手机设备如下:△数据采集设备的屏幕有一定的输入指引(图a)。在此过程中,屏幕上除了删除键和输入键外,没有其他提示。深色输入界面是这样的(图b):研究人员在收集到位置信息后,对数据进行了归一化处理,去除了位置偏移。他们发现,志愿者在“盲打”时识别出的字母排列并不是水平对齐的,二是呈现出特定的分布曲线。△算法“脑补”键盘分布因此,经过这些调研,研究人员设计了I-Keyboard的系统架构,它由三个模块组成:用户交互模块、准备模块和通信层。首先,系统通过触摸屏或触摸界面接收输入。同时数据准备模块对信息进行预处理并对原始输入进行格式化。最后,将机器学习框架和应用程序框架紧密集成的通信层处理信息,深度神经解码器(DND)负责将输入信息翻译成字符序列,预测打字员正在输入的内容。△I-Keyboard系统架构图部署系统系统搭建完成后,研究人员将I-Keyboard部署在MacBookPro上测试系统性能。他们从短语集中随机选择了20个短语,要求参与者以每分钟45.47个单词的速度打字。这个输入速度不是固定的。研究人员认为,在物理键盘或软键盘上打字时,每个人的速度本质上是不同的。因此,为了保证测试质量,测试者还可以使用物理键盘以88.74%的速度打字进行输入。结果表明,该方法的正确率达到了95.84%,超过了baseline4.06%的水平。据研究人员称,I-Keyboard目前并不支持所有型号的智能手机,但研究人员的目标是将该系统扩展到所有触摸屏设备。他们表示,这种研究未来有很大的前景,还可以加入一些手势识别算法,实现非字母字符的输入,比如胡须、标点符号、功能键等。总之,是一种全新体验的输入法。传送门VentureBeat报道:https://venturebeat.com/2019/08/02/ai-may-turn-touchscreen-keyboards-invisible/论文地址:https://arxiv.org/abs/1907.13285
