昇腾AI的温度：关爱超2700万听障者，破解手语学习难题

他们用AI大模型，帮千千万万失去听力的人，跟上数字时代的脚步。作者 |  心缘编辑 |  漠影“从无声里突围，你心中有嘹亮的号角。”这是今年《感动中国2021年度人物颁奖盛典》给清华大学生物信息学博士江梦南的颁奖词。

▲江梦南（图源：央视《感动中国2021年度人物颁奖盛典》）

这位优秀的90后女孩，半岁那年，因药物致使极重度神经性耳聋，从此耳畔如一片旷野，再也听不到任何声音。为了考学深造，她付出常人难以想象的艰辛，靠读唇语、看板书和自学，终于走到中国最顶尖的学府，通过科研，致力于攻克生命健康的难题。淋过雨的她，想要为别人撑伞。这个暖心励志的故事，使我开始关注一个问题：如今世界变化如此之快，“内卷”、“破防”、“元宇宙”、“新冠”等新词频出，听不见的特殊人群要付出多少努力，才能跟上世界的脚步？被折翼的孩子，更需要被关注和帮助，命途虽有异殊，温情和善意却能消解一些敏感和孤独，而医学与科技的进步，也许能通过打破沟通障碍，让更多的阳光，照进他们的生活。01.在听不见的世界，推广手语“普通话”

促进健康福祉、提供优质教育、让人人都有体面工作、减少不平等……是联合国提出的可持续发展目标。这些对于普通人都尚存挑战的任务，在残障人士的世界，更是难上加难。全球约有2.5亿听障人群，其中大部分需要依靠手语。十六年前，第二次全国残疾人抽样调查结果显示，我国有约2780万名听力残疾者，占全国残疾人的30%以上。这一数量还在持续增长。听力障碍严重影响着这个特殊群体的生活、学习和社会交往，不仅时常制造各种尴尬与不便，而且使他们面临沟通难、就业难等一系列问题。究其原因，主要是手语知识学习的挑战。

仅用手语手势交流的他们，在学习时，往往面临无法准确理解、手语词汇更新慢、看不懂其他地域的手语“方言”等难题。就像中英文之别，手语作为一种无声的语言，在不同地区有不同的"语法"，比如北京人打手语，海南人可能看不懂是什么意思。中国大陆的手语，起源于1887年，当时一位外国传教士在烟台市办了一所听障人士学校。后来到新中国成立后的20世纪50年代，中国聋哑人福利会出版《聋哑人通用手语草图》（四辑），结合汉语拼音特点，进行手语规范化工作。又经过数十年发展，到90年代，由中国残疾人联合会教育就业部、中国聋人协会编写的《中国手语》出版，成为中国手语的标准工具书。然而随时代变迁，这部手语书渐渐落伍，一些新兴事物难以在其中找到准确的表达。2018-2019年，《国家通用手语常用词表》、《国家通用手语词典》先后出版，标准工具书再次迭代。

但遗憾的是，直至今日，“国标”手语还远远没有像有声语言中的“普通话”那样普及。《现代汉语词典》有6万多个词条，相比之下，手语仅有的约8000个词，显然很难表达日常学习中的所有知识。除了手语词汇标准亟待完善外，国家手语语法标准也尚未出台。这些问题，致使听障人士的跨区域交流更加困难。也正因此，一个尴尬的局面时常发生——许多听障人士看不懂电视台新闻报道搭配的手语。问题存在已久，却迟迟无解。而师资与教学资源的短缺，再度加剧了这一难题，为听障人士获取优质教育，制造了无形的屏障。有什么办法能让手语理解起来容易，降低残障人士学习的门槛，以免他们与世界脱节？在位于湖南的一所特殊教育学校，这个问题刚刚得到改善。02.从大模型炼出的AI手语助教

这所特殊教育学校搬来的"救兵"，是一批手语教考一体机。在课堂上，手语教育支撑平台的虚拟数字人可以辅助老师，进行手语教学。老师讲课时，平台能自动识别语音，实时转换成文字，并由虚拟人同步演示相应的手语动作。

▲手语教育支撑平台的虚拟数字人演示同声手语

或者输入一段话，虚拟人能立即将其翻译成手语。

▲手语教育支撑平台的虚拟数字人演示手语翻译

在课下，学生还可以使用手语教考一体机，来巩固学习内容。与背单词软件类似，一体机出一些考题，来便于学生自测对手语的掌握程度。比如，一体机中的虚拟人会演示国标手语动作，让学生点选对应词汇；或者它会给出文字，识别学生做出的手语是否正确。答题完毕后，一体机还能给出综合评价。

▲学生使用手语教考一体机

手语教考一体机还配有“以文生图”的定制化功能，可以生成词汇对应的图片、文字和影音，以帮助初学者能更快更好地理解。

▲手语教考一体机的定制化功能：以文生图

即便遇到闻所未闻的生僻词汇，或是抽象概念，听障学生也不至于全然一头雾水。这些智能功能的幕后大脑，是由千博信息训练的手语多模态模型。手语多模态模型在识别手语、文字信息后，可以自动生成对应的图像。它的表情驱动及唇语计算，能帮助手语虚拟人增加新的输出通道，让手语虚拟人表达能结合表情、唇语、手语，使手语翻译更加生动精准。在有限的语料环境下，手语多模态模型中的小样本学习，还能提升手语翻译的可懂度，让虚拟人手语翻译的习惯更加符合听障人士的认知。不过，手语多模态模型并非完全从零开始训练，对于企业或研究机构来说，那会是一个高成本、耗时长、开销大的路径。这个模型，其实是站在一个更加泛化、更强大的AI大模型肩膀之上，即全球首个千亿参数三模态大模型——“紫东.太初”。中科院自动化所已经以昇腾AI基础软硬件平台为基础，与武汉市东湖高新区深度合作，依托武汉人工智能计算中心，研发了面向超大规模模型的高效分布式训练架构，在图、文、音三个基础模型上加入跨模态编码和解码网络，利用昇思MindSpore AI框架打造出“紫东.太初”大模型。

▲武汉人工智能计算中心（图源：湖北日报）

将手语数据集“喂”给“紫东.太初”大模型，经过知识蒸馏，便能高效地生成手语多模态模型。为了实现足够精准的手语翻译，千博信息足足用了超过50万条汉语到手语的翻译训练语料，以及超过20万条手语到汉语的识别训练视频。手语多模态模型再经知识蒸馏，形成可用的高性能小模型，部署在手语教考一体机上，通过边缘盒子内的昇腾AI硬件加速，为学生提供更精准的国标手语教学与测验功能。其同传、翻译能力，除了用在教学领域外，还可以复用到手语新闻播报、主持、服务引导等应用场景，减轻手语翻译人员的工作量。在信息大爆炸的数字时代，科技正照顾到更多的特殊群体，不让任何人在这个时代掉队。03.从生物科研创新，到千行百业落地

失去听力20余年的江梦南，如今正在清华大学生命科学学院攻读博士，研究和免疫相关的机器学习辅助药物设计课题。“我们中国有几千万残障人士，我现在开始意识到要去考虑其他人，如果无残障做得非常完备，残障人士也能跟健全人一样轻松地活着，我觉得这才是更美好的世界。”江梦南说。像她一样，许多研究人员开始借助AI的力量，攻克生命科学领域的一个个难题。AI在蛋白质结构预测、分子动力学、生物制药等领域日渐发挥出加速计算的价值。中国科研力量也加入了这场激动人心的AI破解生命密码竞赛。例如今年4月，基于鹏城云脑II和全场景AI框架昇思MindSpore训练的蛋白质结构预测模型，在全球持续蛋白质结构预测竞赛CAMEO上连续三周排名第一，并包揽月榜前二。另一边，基于昇腾AI的“鹏程.神农”平台，亦面向生物医学领域，用AI辅助加速制药流程，大幅提升多肽样本库的生成效率。原本用传统方法筛出4000多种候选多肽，需要花费长达40年，“鹏程.神农”则能够将生成时间缩短至数月，并生成高达30万种候选多肽。这又是一个用科技惠及特殊群体的故事。一些患者因疾病污名化，遭受着歧视、排斥和不公平的待遇，而AI强大的计算能力，能帮助更快发现有效药物分子，并实现药物研发流程的整体优化，为治愈一些顽疾带来希望。近年来，各地AI计算中心拔地而起。在更大规模跨域算力网络的支撑下，大模型参数规模逐渐从千亿迈向万亿，且凭借极高的泛化能力，高效孵化出不同的细分场景模型。这些模型落地后，又能以更丰富的数据反哺大模型基础能力。经过如此持续创新迭代的产业正循环，大模型正成为科研创新走向产业应用的重要枢纽，加速推动AI落地千行百业的进程。以昇腾为例，过去一年，业界基于昇腾AI陆续推出鹏程.盘古、鹏程.神农、紫东.太初、武汉.LuoJia、华为云盘古系列等有影响力的大模型。

在此基础上，华为基于昇腾AI建立起一套完整的大模型开发使能平台，推出大模型开发、微调和部署套件，以便高校、科研机构或企业高效开发和部署AI大模型，降低开发门槛和部署成本。

学术化的大模型创新已层出不穷，但真正走到规模化部署的，仍然寥寥。加速大模型落地，还需集结更多产学研的力量。为此，华为与合作伙伴成立了智能遥感开源生态联盟和多模态人工智能产业联盟，并计划今年成立AI流体力学、AI生物医药、智慧育种等产业联盟，以孵化出更多的行业解决方案。随着自监督学习+预训练模型微调适配方案成为主流，AI大模型日益发展成新型AI工厂，用特定领域的数据集进行再训练，便能按需生成高精度的AI模型，加速AI在智慧医疗、智能驾驶、工业质检等众多行业的商业化进程。

从算力基础设施、AI框架到大模型，AI技术近年来种种的突破性进展，正将探索者的春天，推至我们的面前。而那些探索者们的科研成果，将为人类，尤其是少数群体，点亮更多盏希望的灯火。04.结语：用科技连接孤岛拨亮人文关怀的灯盏

最后，我们回到最初的话题，将注意力回归到那些明明和我们共处于同一片蓝天下，却过着默片人生的听障群体身上。他们的世界万籁俱寂，听不见斜风吹细雨，不曾闻笑语与莺啼，也无法同音乐产生共鸣。但无声的世界，依然能活出生命的张力，习惯于寂静的他们，依然拥有着一颗颗滚烫的心。他们也许将苦痛熔铸成思想，坚韧生长；也许承受着交流障碍带来的不便、歧视、压力、孤独，失去融入社会的勇气。他们若想探索这个世界的万千奥秘，往往需付出远超健全人的努力。那些没有我们幸运的人，更需要被看见，被给予更多的照顾，为他们扫除风霜积雪。科技的车轮滚滚向前，从象牙塔到普济天下，不仅能推动生产力提升，也能将爱与善意具象化，连接每一座生命孤岛，推动无障碍环境建设，让畅通的交流、平等的沟通、自由的表达，不再是健全人的专享。声音已经缺席他们的人生旅程，不要让爱缺席。参考资料：《中国手语：手语也有"方言"，无声语言也动人》诸葛侃物；《靠"读唇语"考入清华博士的女孩，她的世界重获新"声"》潇湘晨报

（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）