昇腾AI的温度:关爱超2700万听障者,破解手语学习难题
▲江梦南(图源:央视《感动中国2021年度人物颁奖盛典》)
这位优秀的90后女孩,半岁那年,因药物致使极重度神经性耳聋,从此耳畔如一片旷野,再也听不到任何声音。为了考学深造,她付出常人难以想象的艰辛,靠读唇语、看板书和自学,终于走到中国最顶尖的学府,通过科研,致力于攻克生命健康的难题。淋过雨的她,想要为别人撑伞。这个暖心励志的故事,使我开始关注一个问题:如今世界变化如此之快,“内卷”、“破防”、“元宇宙”、“新冠”等新词频出,听不见的特殊人群要付出多少努力,才能跟上世界的脚步?被折翼的孩子,更需要被关注和帮助,命途虽有异殊,温情和善意却能消解一些敏感和孤独,而医学与科技的进步,也许能通过打破沟通障碍,让更多的阳光,照进他们的生活。01.在听不见的世界,推广手语“普通话”促进健康福祉、提供优质教育、让人人都有体面工作、减少不平等……是联合国提出的可持续发展目标。这些对于普通人都尚存挑战的任务,在残障人士的世界,更是难上加难。全球约有2.5亿听障人群,其中大部分需要依靠手语。十六年前,第二次全国残疾人抽样调查结果显示,我国有约2780万名听力残疾者,占全国残疾人的30%以上。这一数量还在持续增长。听力障碍严重影响着这个特殊群体的生活、学习和社会交往,不仅时常制造各种尴尬与不便,而且使他们面临沟通难、就业难等一系列问题。究其原因,主要是手语知识学习的挑战。▲手语教育支撑平台的虚拟数字人演示同声手语
或者输入一段话,虚拟人能立即将其翻译成手语。▲手语教育支撑平台的虚拟数字人演示手语翻译
在课下,学生还可以使用手语教考一体机,来巩固学习内容。与背单词软件类似,一体机出一些考题,来便于学生自测对手语的掌握程度。比如,一体机中的虚拟人会演示国标手语动作,让学生点选对应词汇;或者它会给出文字,识别学生做出的手语是否正确。答题完毕后,一体机还能给出综合评价。▲学生使用手语教考一体机
手语教考一体机还配有“以文生图”的定制化功能,可以生成词汇对应的图片、文字和影音,以帮助初学者能更快更好地理解。▲手语教考一体机的定制化功能:以文生图
即便遇到闻所未闻的生僻词汇,或是抽象概念,听障学生也不至于全然一头雾水。这些智能功能的幕后大脑,是由千博信息训练的手语多模态模型。手语多模态模型在识别手语、文字信息后,可以自动生成对应的图像。它的表情驱动及唇语计算,能帮助手语虚拟人增加新的输出通道,让手语虚拟人表达能结合表情、唇语、手语,使手语翻译更加生动精准。在有限的语料环境下,手语多模态模型中的小样本学习,还能提升手语翻译的可懂度,让虚拟人手语翻译的习惯更加符合听障人士的认知。不过,手语多模态模型并非完全从零开始训练,对于企业或研究机构来说,那会是一个高成本、耗时长、开销大的路径。这个模型,其实是站在一个更加泛化、更强大的AI大模型肩膀之上,即全球首个千亿参数三模态大模型——“紫东.太初”。中科院自动化所已经以昇腾AI基础软硬件平台为基础,与武汉市东湖高新区深度合作,依托武汉人工智能计算中心,研发了面向超大规模模型的高效分布式训练架构,在图、文、音三个基础模型上加入跨模态编码和解码网络,利用昇思MindSpore AI框架打造出“紫东.太初”大模型。▲武汉人工智能计算中心(图源:湖北日报)
将手语数据集“喂”给“紫东.太初”大模型,经过知识蒸馏,便能高效地生成手语多模态模型。为了实现足够精准的手语翻译,千博信息足足用了超过50万条汉语到手语的翻译训练语料,以及超过20万条手语到汉语的识别训练视频。手语多模态模型再经知识蒸馏,形成可用的高性能小模型,部署在手语教考一体机上,通过边缘盒子内的昇腾AI硬件加速,为学生提供更精准的国标手语教学与测验功能。其同传、翻译能力,除了用在教学领域外,还可以复用到手语新闻播报、主持、服务引导等应用场景,减轻手语翻译人员的工作量。在信息大爆炸的数字时代,科技正照顾到更多的特殊群体,不让任何人在这个时代掉队。03.从生物科研创新,到千行百业落地失去听力20余年的江梦南,如今正在清华大学生命科学学院攻读博士,研究和免疫相关的机器学习辅助药物设计课题。“我们中国有几千万残障人士,我现在开始意识到要去考虑其他人,如果无残障做得非常完备,残障人士也能跟健全人一样轻松地活着,我觉得这才是更美好的世界。”江梦南说。像她一样,许多研究人员开始借助AI的力量,攻克生命科学领域的一个个难题。AI在蛋白质结构预测、分子动力学、生物制药等领域日渐发挥出加速计算的价值。中国科研力量也加入了这场激动人心的AI破解生命密码竞赛。例如今年4月,基于鹏城云脑II和全场景AI框架昇思MindSpore训练的蛋白质结构预测模型,在全球持续蛋白质结构预测竞赛CAMEO上连续三周排名第一,并包揽月榜前二。另一边,基于昇腾AI的“鹏程.神农”平台,亦面向生物医学领域,用AI辅助加速制药流程,大幅提升多肽样本库的生成效率。原本用传统方法筛出4000多种候选多肽,需要花费长达40年,“鹏程.神农”则能够将生成时间缩短至数月,并生成高达30万种候选多肽。这又是一个用科技惠及特殊群体的故事。一些患者因疾病污名化,遭受着歧视、排斥和不公平的待遇,而AI强大的计算能力,能帮助更快发现有效药物分子,并实现药物研发流程的整体优化,为治愈一些顽疾带来希望。近年来,各地AI计算中心拔地而起。在更大规模跨域算力网络的支撑下,大模型参数规模逐渐从千亿迈向万亿,且凭借极高的泛化能力,高效孵化出不同的细分场景模型。这些模型落地后,又能以更丰富的数据反哺大模型基础能力。经过如此持续创新迭代的产业正循环,大模型正成为科研创新走向产业应用的重要枢纽,加速推动AI落地千行百业的进程。以昇腾为例,过去一年,业界基于昇腾AI陆续推出鹏程.盘古、鹏程.神农、紫东.太初、武汉.LuoJia、华为云盘古系列等有影响力的大模型。posted @ 22-07-14 02:50 作者:admin  阅读: