近日，专家发现了一种新的攻击方法。该攻击使用视频电话将可观察到的身体动作与输入的文本相关联，以推断用户在视频电话中输入的内容。该研究由德克萨斯大学圣安东尼奥分校的MohdSabra和MurtuzaJadliwala以及俄克拉荷马大学的AnindyaMaiti进行。他们说，只要网络摄像头能够捕捉到目标用户的上半身动作，攻击就可以从视频通话扩展到YouTube和Twitch等视频网站。研究人员表示，随着越来越多的电子产品（如智能手机、平板电脑和笔记本电脑）中嵌入视频捕获硬件，通过视觉渠道泄露信息的威胁最近有所增加。此外，他们说，攻击者的目的是通过在所有记录的帧中观察到的上半身运动来推断受害者输入的私人文本。为了实现这一点，录制的视频被送入基于视频的击键推理框架，该框架经历三个阶段：预处理：去除背景后，将视频转换为灰度，然后由FaceBoxes模型检测分割左右个人面部的手臂区域。击键检测：结构相似性指数测量(SSIM)是通过检索包含手臂运动的分段帧来执行的，以量化左右视频片段中每个连续帧之间的身体运动，并识别发生击键的潜在帧。单词预测：按键帧将用于检测每次按键前后的运动特征，并通过基于字典的预测算法推断出特定的单词。换句话说，在检测到的关键帧池中，单词是根据检测到的单词条目的数量以及单词的连续条目之间发生的手臂位移的大小和方向推断出来的。这种位移是使用称为稀疏光流的计算机视觉技术测量的，该技术用于跟踪定时击键帧中肩膀和手臂的运动。此外，还绘制了“标准QWERTY键盘上的键到键方向”模板，显示了“打字员的手要遵循的理想方向”，混合使用左手和右手。然后，单词预测算法会搜索最有可能匹配左手和右手击键的顺序和次数以及手臂位移方向与模板的按键方向的单词。研究人员表示，他们在使用“狩猎和啄食”（一种不正确的输入形式，用户通常使用他们的食指来寻找（寻找）他们的键盘，然后按下（啄）键。）和触摸打字的混合方法，除此之外，他们还针对不同的背景、网络摄像头模型、服装（尤其是袖子的设计）、键盘，甚至各种视频通话软件（例如Zoom、Hangouts和Skype）来测试推理算法。调查结果表明，“追捕式”打字员和穿着无袖衣服的人更容易受到单词推理攻击，而同时使用罗技摄像头的用户比使用外部Anivia摄像头的用户有更好的单词恢复能力。在有10名参与者（3名女性，7名男性）的实验性家庭环境中重复测试，成功推断出91.1%的用户名、95.6%的电子邮件地址和66.7%的网站，但只有18.9%的密码和21.1%的英语字。研究人员说他们的准确率比实验室环境差的原因之一是参考词典排名是基于英语句子中的词频，而不是人们随机生成的词。模糊、像素化和跳帧是一种有效的缓解策略，但同时视频数据可以与通话中的音频数据相结合，以进一步改进按键检测。由于最近的世界事件，视频通话已成为个人和专业远程通信的新标准。但是，如果您在视频通话中不够小心，您就有可能向通话中的其他人泄露个人信息。现实环境中击键推理的准确性相对较高，这凸显了针对此类攻击的意识和对策的必要性。
