当前位置: 首页 > 科技赋能

国际聋人日:谷歌将科技与无障碍设计结合

时间:2024-05-19 16:15:28 科技赋能

在奥斯卡获奖真人短片《沉默的孩子》中,当妈妈出门前对莉比说“拜拜莉比,爱你”时,莉比听不清,就看电视,但影片最后,当莉比隔着栅栏对导师老师用手语说“我爱你”时,莉比“表达”和“被理解”的愿望袭来人们的心。

今年9月26日是第64个国际聋人日。

根据世界卫生组织的数据,全球有15亿人患有不同程度的听力损失。

人工耳蜗和助听器是他们的“假肢”,慢速播放是他们网络生活的常态。

幸运的是,技术的变革给听障人士带来了更多的可能性。

打破“障碍”,让每个人都能平等地探索生活和世界。

这也成为包括谷歌在内的众多科技公司和社会机构关注的焦点。

人工耳蜗语音增强技术的研究 许多聋哑或听力困难的人士人无法轻松获得无障碍服务来协助日常口语对话。

虽然助听器可能有帮助,但对于听力严重丧失甚至耳聋的人士人来说,需要人工耳蜗(CI)。

人工耳蜗是一种电子设备,通过手术植入内耳,通过外部声音处理器将声音信号转换为电信号,刺激耳蜗中剩余的听觉神经,从而产生听力。

CI 领域仍然面临的一个主要挑战是如何最好地处理声音,即如何将声音转换为电极上的脉冲,使其更易于理解。

谷歌对人工耳蜗进行了探索性研究,尝试各种方法来增强人工耳蜗用户对语音的理解。

在一个小型内部项目中,Google 邀请参与者聆听 60 个预先录制/预处理的音频样本,并要求他们评价自己的舒适度。

结果表明,在收听经过噪声抑制器处理的语音时,舒适度和理解力普遍提高,证明语音增强预处理器(尤其是噪声抑制器)可以用作处理器的输入,以增强用户在噪声环境中对语音的理解。

理解。

语音增强网络经过训练可以抑制非语音,包括音乐,因此需要额外的步骤来保留这种重要的用户享受。

为此,谷歌创建了原始音频和降噪音频的“混合”,让足够的音乐通过以保持可听度。

在抑制非语音(例如噪音和音乐)的语音增强模块中,谷歌将原始音频转换为神经网络可以使用的形式,通过AI模型生成声音特征,并生成两个“掩模”基于这些特征,分别作用于语音和非语音,然后通过将“掩模”与特征相乘,将分离出来的语音和背景音重构回音频域,最后进行混合一致性处理,以提高音频质量。

该模型每 2.5 毫秒估计一次输入音频,因此可以实时使用。

谷歌在由人工耳蜗制造商 Advanced Bionics、加州大学旧金山分校和明尼苏达大学联合举办的人工耳蜗黑客马拉松中获得第二名,其研究成果展示了未来更强大的人工耳蜗可以实现的目标。

为视频会议软件开发实时手语检测模型 大多数视频会议软件无法识别手语,因此当参与者需要通过手语进行交流时,无法将其识别为发言者。

谷歌认为,视频会议是人们在工作和生活中交流的重要平台,每个人都应该能够平等地使用它们,尤其是在疫情限制出行的情况下。

于是,谷歌开发了一种实时手语检测模型,通过人体姿势判断参与者是否用手语“说话”。

由于需要使用大量视频源作为输入来执行分类,Google 设计了一种轻量级模型来减少 CPU 消耗,以尽量减少检测过程对通话质量的影响。

当检测模型确定用户正在使用手语时,它会通过虚拟音频线传递超声波音频,该音频超出了人类听觉范围,但可以被视频会议软件检测到并识别为用户说话。

谷歌对此检测模型进行了用户体验调查。

视频会议期间,参与者照常通过手语进行交流,要么互相“交谈”,要么用手语与用户进行语音交流。

在此过程中,手语被视为有声讲话,成功触发了会议系统的“麦克风”图标,将与会人员的注意力吸引到了手语参会者身上。

参与者也对检测模型给予了积极评价。

为人士耳聋或听力障碍者设计应用 除了通过相关研究寻求帮助残疾人日常沟通的方法外,谷歌还不断开发辅助应用并优化产品无障碍设计。

以下是专为人士耳聋或听力障碍人士设计的三个应用程序。

Live Transcribe & Sound notifications 是由 Google 和加劳德特大学开发的应用程序。

可适配Android、Wear OS等系统,支持80种语言或方言。

“实时转录”功能采用先进的自动语音识别和声音检测技术,将语音实时转换为文本,帮助失聪或听力困难的人士理解对话。

“重要声音通知功能”通过通知、手电筒闪烁或手机振动提醒用户周围发生的关键声音,例如火警或门铃,以便用户快速做出反应。

Live Caption 是一种自动字幕系统,可以为用户设备上的视频、播客、电话、视频通话、音频消息和录制内容自动生成实时字幕。

目前,该功能已添加到 Pixel 手机、Google Meet 和 Chrome 中。

Sound Amplifier 是一款 Android 辅助功能应用程序,可通过滤除背景噪音来提高清晰度,而不会过度放大“重要声音”。

为了让用户更直观地了解 Sound Amplifier 如何检测和增强声音,应用程序添加了音频可视化功能。

即使用户听不出声音增强前后的差异,仍然可以知道声音增强的程度。

建设无障碍世界需要全社会的共同努力。

这些特殊的日子只是提醒我们,照顾残疾人士不能就此止步。

希望未来有更多的技术创新能够打破“壁垒”,让大家能够互相沟通、互相理解。

猜你喜欢