内容来源：华为开发者大会2021HMSCore6应用服务技术论坛，主题演讲《手语服务，助您构建信息无障碍应用》。主讲人：郑轩，华为消费者云服务手语服务技术总监，北京师范大学教授，大家好。今天和大家分享一下HMSCore为什么提供手语服务，背后的故事和进展。首先，让我们看一下我们服务的对象。据世界部门组织调查，目前有4.6亿听障群体，我国至少有2700万听障群体，每年全国出生近2.3万名听障儿童，但只有不到5%的听障人士使用助听器等辅助设备。因此，由于信息的匮乏，我们的听障朋友在日常的学习和交流中都存在一定的困难，这也是为什么公共场所的手语通道显得十分迫切的原因。什么是手语？这对听障社区意味着什么？这对健康群体意味着什么？我们邀请了北京师范大学郑轩教授与大家分享。大家好，我是北京师范大学的郑轩。很高兴与您面对面交流。其实我是个聋子。你可能看不出我左耳戴了助听器，但我的英语口语还是不错的。我的手语翻译是听力正常的人，但她可以流利地使用手语。我想此时此刻，聋人和听众之间的界限并不是那么清晰，这要归功于科技的进步。今天要跟大家分享的是《解锁手语密码，走进无声世界》。说到手语，你可能会觉得很神秘。手语是语言学上的一种语言。读博时，我在复旦大学中文系主修语言学和应用语言学。手语是一种什么样的语言？手语是一种利用手的形状、位置、动作、手掌方向、面部表情和身体姿势，以及必要的嘴型来表达特定意思的交流工具。它是一种真正的语言。你为什么这么说？由于手语是一门完整而复杂的语言，包括发音、词汇和语法，如果孩子的父母是聋哑人，可以将手语作为第一语言来学习。这时候发展路径和口语基本同步了。而且我们可以从脑科学的角度证明，聋人在使用手语时，大脑的活跃区域基本上是左脑的语言区域。关于手语地位的法律规定比较成熟。比如2006年联合国《残疾人权利公约》，以及后来在中国签署的联合国教科文组织《岳麓宣言》，都强调手语和口语是平等的，是两种语言。每个国家都有义务保护和促进手语的使用。根据世界聋人联合会的数据，全球已有66个国家和地区通过立法承认了手语的地位。我国在推广通用手语方面也取得了长足的进步。例如，2015年和2021年是“十三五”和“十四五”的开局之年。我们发布了两期的《国家手语和盲文的规范化行动计划》。2018年，我们发布了《国家通用手语词表》，上升到了国语标准的高度，2019年又发布了《国家通用手语词典》。有兴趣的可以直接到华为应用市场下载APP。上图为中国残疾人艺术团演员展示“中国”手语。模仿中国的概念。手语对聋人朋友意味着什么？我是一个聋人，所以我深深地感受到手语对我们的重要性。你可能不知道，95%以上的聋儿，他们的父母都是健听人，也就是说他们在家里是不能使用手语的。像正常孩子一样顺畅地与父母沟通。国外有一句话形容：餐桌综合症，即使在餐桌上，我们和父母也是最熟悉的陌生人。因此，手语的介入可以改变这种状况。当他们长大进入学校后，手语可以作为一种教学语言，让孩子们与世界联系起来，促进他们学习知识；进入社会后，他们可以通过手语与普通人建立联系。当社会上人人都能手语时，聋人聋人朋友就会感受到平等和尊重；当他老了，手语会为他营造一个精神家园。聋人朋友在使用手语时非常情绪化。有一首诗是用手语描写他们感情的：“断我手，我手手，断我手，我肩手”。手语对听得见的朋友意味着什么？我曾多次在高校教授手语课，学生问我：“老师，手语如何表达我爱你？”手语是青少年学生的一项技能，可以作为新生婴儿的早期教育和教育手段。他的聪明才智，当他进入社会，如果他会手语，其实有助于建立一个信息壁垒的社会，让他知道每个人都可以接受世界的多样性，让世界变得更美好。另外，手语在特殊的时候可以交流，比如环境比较吵的时候，偷偷交流的时候，手语就很有用。当你老了，它有帮助别人和自己的意义。过去，他帮助过别人，但每个人都会变老，听力会下降，而手语可以作为视觉语言来支持他的交流。我本人有多年的手语教学宣传和科学研究经验。我个人很欣赏这句话“如果你接受一个人，你就会接受他的语言。反之，如果你拒绝一个人的语言，那就是在拒绝他自己”。我曾经在美国的孔子学院，教美国的聋孩子学习中国手语和中国文化。我曾经在重庆师范大学的课堂上教空姐手语。我曾经拍过《我和我的祖国》手语歌曲的MV。我还和南京聋校的师生一起创作了中国手语书。在做这些事情的时候，我深有感触，手语不是小语种，离大家也不远了。我们说手语是一座桥梁，可以连接世界上每一个孤岛。手语是一种资源。让我们了解每一种语言的独特之美，也是生命经验的传承，是团结奋斗的桥梁，是聋健共建的纽带。我作为顾问参与了这样一个项目，我们的愿景是：手语并不遥远，触手可及。其实，每个人在年老、生病或某些特殊情况下，都会成为所谓的“残疾人”。手语并不神秘，其实每个人都可以学习手语。比如这个手势表示一个人，那个人是从远到近，从近到远，两个人相遇，分开，追逐，你看，一下子就能学会一串手语单词，真是不是灾难。手语并不狭隘和包容。我们不希望聋人朋友被分为手语组和口语组。衷心希望我们可以一起交流，一起建设家园，一起分享现代生活的便利。手语不是少数民族语言。我们可以敞开心扉，创造一个手语生态系统和新经济。从玻璃墙到破壁机，华为迈出了关键一步。在参与这个项目的过程中，我其实经历了很多的坎坷，能够参与其中我感到非常荣幸。我自己是一个聋人，我是一名手语研究者。对于我们来说，这个产品可以帮助我们。但是现在可能不是所有的人都能理解，但是我们很高兴，经过一段时间的研究，终于有了阶段性的成果。我认为黑暗给了我们黑色的眼睛，但我用它们来寻找光明。穿过黑暗的眼睛是世界上最明亮的眼睛。最后，我想教你们两种手语。第一个是欢迎和加油的意思，我们为这个伟大的时代加油。第二个是谢谢你，谢谢你在寂静的世界里给了我们新的希望。谢谢你们。从郑老师的分享中我们可以看出，手语对于听障人士和健听人来说都是非常重要的。国家也意识到了这个问题，并出台了相应的法律规定。深圳经济特区条例于今年9月1日生效，北京市条例于10月1日生效，广电总局10月发布的“十四五”规划22、人人提倡和鼓励使用手语。我们总结了三项国家法律规定。一是在党、国家和地方重大活动中安排国家通用手语翻译。二是市级以上电视台要积极创造条件播出带有手语或字幕的节目，开设手语栏目，推广使用全国通用手语。三是飞机、铁路、地铁等公共交通工具要为听障人士提供国家通用手语服务。华为并没有白手起家做手语服务。2018年，我们与欧洲聋人协会和世界聋人协会启动了Storysign项目。是三到六岁孩子的阅读场景。使用华为手机拍摄儿童看书，并能通过人工智能技术自动生成手语动画。我们在Storysign项目的基础上，开发了手语服务，不再针对特殊年龄段，而是面向开放人群、开放场景、智能手语动作生成。手语不仅包括手部动作，还包括唇部动作和面部表情，因为手语是视觉语言，不同于口语，有自己的语法，比如“我没有身份证”。一个字一个字打，整个手语都是以视觉语言为主，先打“身份证”“我”“带”“不”，再看手语动作是否连贯自然，再看是否有面部表情。华为手语服务主要有三个模块。第一个模块是将语音转换为文本。这就是日常生活中将语音转换为文字的能力。这是一个比较成熟的技术。第二个模块，从文本到手语表达，这里是手语翻译的一个关键技术，使用华为自研的大语言模型，结合手语语言学数据，我们和其他技术不同的是，我们训练了大在特定的语义环境下进行建模和训练，所以效果非常好。第三个模块，文本生成3D运动，是一个非常难的技术问题，我们是用神经网络多模态模型实现的。当然，在这个过程中，我们不仅有人工智能算法和数据，还深度融合了手语语言学、手语翻译和手语生成两个模块，输出3D动作，最后通过3D虚拟人呈现出来。驱动3D虚拟人，需要通过骨骼运动来驱动肢体运动，进而渲染出3D虚拟人。目前语言只支持中文手语，未来有英文的计划。词汇量也很重要。刚才郑老师也说了，2019年国总词典出来之后，其实收录了8214个词，但实际上还有很多词没有录入。我们和郑老师一起，把日常生活中没有收录在国家通用词典中的单词进行了扩充。目前涵盖了10000多字，当然还会继续增加。预计明年字数将达到20000字，基本可以覆盖日常字数的90%-95%。.如果你想将手语服务应用到你的业务场景中，它还支持3D虚拟人定制，比如改变3D红衣女郎的造型。以上就是手语服务的关键技术，那么手语服务的能力应用在哪些场景呢？在ToC的应用场景中，对于普通消费者来说，可以降低沟通和信息获取的难度，实现无障碍沟通。第一，日常生活。日常生活中可以用在与家人朋友交流等场景中。二是教育学习。手语也有口音和地方标准。国家一直在推广国家手语，但真正懂或非常精通专业手语的人却寥寥无几。因此，基于国家通用手语标准的华为手语服务适用于聋人朋友。教育非常好。第三，用于获取社会信息。比如旅游信息、餐饮、购物等场景。手语服务在一些ToB场景中也起到了很大的作用。例如，国家鼓励或提倡在某些行业推广和使用国家通用手语。一是广播电视、直播、转播场景。二是应用于政务、银行、交通等场景。三是应用于大型会议、现场活动等场景。手语服务的产品发布不是我们的终点，而是我们的起点。我们希望我们的创新能够推动全社会信息无障碍的不断进步。以上是我的分享，谢谢。更多详情>>访问华为开发者联盟官网获取开发指导文档华为移动服务开源仓库地址：GitHub、Gitee关注我们，第一时间了解HMSCore最新技术资讯~
