在华为开发者大会2022（HDC）上，HMSCore手语数字人以全新形象亮相，并在直播中完成了3个多小时的实时手语翻译，在线人数超过1000万人次。线下观众提供专业、实时、准确的手语翻译服务，为听障人士提供无障碍体验。面对专业性强、词汇量大的技术会议，HMSCore手语数字人如何准确流畅地手语？【解决三大技术难题，让技术词汇信“触手可及”】直播中实时手语翻译比传统翻译和文字转手语翻译复杂，主要是声学环境语音识别过程中各种场景复杂，部署困难；手语词汇数据量小，尤其是在专业领域。同时，手语具有独特的语序逻辑。不能按照日常说话的顺序逐字翻译，必须调整句子的词序。例如，“我有很多朋友，而且有健听人和聋人”手语序列是“我/朋友/很多，健听人/是，聋人1/是”。由于手语视觉语言的独特性，手语表达中的表情、动作位置、动作方向、肢体变化、动作幅度等都是影响手语可懂度的重要因素。“我有很多朋友，包括健听人和聋人。”手语顺序是“我/朋友/很多，听得见的人/是，聋人1/是”。为了让手语数字人实现高智能化的AI手语能力，HMSCore手语服务技术团队集成了“语音手语”全链路AI能力，解决了三大技术点：语音准确度识别、手语翻译的准确性、手语动作的流畅度和节奏感。首先，为了保证直播中说话人的声音能够被准确识别，特别是针对大量中英文混杂的专业术语，HMSCore手语数字人声识别功能，采用动态流声学建模技术，可实现1秒内识别，同时借助热词等定制化手段，对专业术语的识别效果也进行了针对性优化，为下一步提供了高精度的文本基础手语数字化仪的手语翻译。在手语翻译准确率方面，HMSCore手语服务组建了动作优化团队，并在机器翻译、手语转写等算法上进行了创新：通过机器翻译算法，可以将中文表达快速转为手语表达、自动调整词序、词义消歧、表达分析；通过双迁移学习等方法，算法可以理解句子的语义和上下文，准确估计每个手语词对应的姿势、表情、嘴型，实现手语动作、身体姿势、面部表情、嘴型可以全方位生动地表达形状，有效提高手语转录的准确性和速度。此外，手语生成程序融合了大量手语语言学研究成果，通过调整词、词、句之间的停顿和语速来增强节奏感。同时，参考新闻手语主播的手语风格，预训练模型的句子压缩算法可以将复杂的长句压缩成简单的短句，并根据语义进行翻译，最终生成流畅的手语。即符合听障人士动作的表达习惯。对于HDC大会上常用的科技词汇“华为”、“鸿蒙”、“人工智能”，其标准拼写已被收录到HMSCore手语词汇表中。而对于大会上罕见的“原子化服务”等组合专业词汇，更是逐字拆解为“原子”、“转化”、“服务”三个手语动作，同时生成相应的口型.【产品竞争力跃升，从技术创新到产业应用】经过一年多的发展和技术迭代，HMSCore手语服务目前支持20000+中文手语词汇，匹配日常通讯、新闻、教育、政务、等场景。目前，手语数字化仪不仅可以使手部动作流畅，而且表情丰富，口部动作准确。表情多达26种，从微笑、高兴到惊讶、不解、失望等，灵动逼真。“准确”、“翻译正确”、“玩得好”，更好地为保障听障人士的社会参与提供帮助。目前，HMSCore手语服务已携手音书、知音、畅听、开普云、棉花糖科技、未来传媒、硅基智能等多家开发商，成功将AI手语翻译能力应用在各种领域。产业，完善创造了无障碍环境。畅听APP通过集成HMSCore手语服务，在APP中实现AI手语翻译功能，让听障人士随心所欲使用，满足他们交流、学习和娱乐的需求在日常生活中，同时帮助他们在政府、医疗、金融、法律等专业公共服务领域实现无障碍沟通。HMSCore手语服务的应用将继续帮助开发者构建更好的无障碍交流环境，帮助听障人士更好地享受信息化发展的成果，为他们带来更多的陪伴、更实时的互动和更深层次的情感。联系。未来，HMSCore手语服务将继续践行“科技，不让一个人掉队”，携手开发者和合作伙伴，助力数字生态建设，让无障碍体验惠及更多人。如需更多信息，请访问HMSCore手语服务。更多详情>>访问华为开发者联盟官网获取开发指导文档华为移动服务开源仓库地址：GitHub、Gitee关注我们，第一时间了解HMSCore最新技术资讯~
