让“无声世界”感受赛场魅力!带你看看冬奥手语数字人有哪些奥秘******
2022年2月4日,第24届冬季奥林匹克运动会在北京举行,让世界目光再次聚焦中国。本届北京冬奥会秉持绿色、共享、开放、廉洁的办赛理念,凝聚中国科技力量,面向世界、面向未来,向全球奉献了一场精彩、非凡、卓越的奥运盛会。
本届冬奥会运用最新科技手段,为全世界观众提供了惊艳的现场转播和全方位覆盖报道,北京冬奥会也成一场上科技含量高的奥运会。赛事活动期间,为了让各类人群都能平等地享受本届冬奥盛会,北京电视台上线了智能手语播报数字人,在《北京新闻》和《北京您早》等节目中进行冬奥专题手语播报,为听障人士带来精彩赛事报道。
最新数据显示,我国听障人群超过2700万,这部分人群与健听人一样,他们对教育、社交、娱乐等信息获取都有巨大的需求。但长期以来,传统人工手语翻译工作量大,且主持人和手语主持人配合难度极高。手语动作表情复杂,语序与正常语序差异大,正常情况下想要熟练掌握手语大约需要2年左右的时间,还要结合语境进行猜测。
受北京市科委科技冬奥专班委托,北京电视台联合凌云光、智谱AI等业内科技公司,在北京市残疾人联合会和市残联聋人协会等支持下,用3个多月时间,让手语播报数字人完成了近10万条手语语料学习,且翻译准确率高达90%。
在如此短的时间内实现这项高难度动作,智能手语数字人是如何做到,在这背后又有哪些技术创新难点?
在多位业内人士看来,近年来人工智能体系建设重点布局在算法层和应用层,数据层建设远远不足,并且针对数字人相关产业,底层数据库的数量、质量和开源程度还明显不足。尤其是国内现有的手语语料数据库数量少,且多以图像、视频等二维平面为主,无法满足AI(人工智能)训练的需求。
同时,因手语语序与中文语序差异大,方言分化更加复杂,且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集,三维肢体运动、表情信息数据采集及结构化参数表达外,手语语料数据库建设对三维运动信息捕捉也十分重要。
凌云光手语数字人产品相关负责人介绍,在建设高质量手语语料库的同时,他们充分调研了2022北京冬奥专用手语术语,并联合北京市残联、聋人协会等相关组织机构,进行数据标注,建设手语语义映射关系,不仅完善了国内手语数据库的建设,也为手语推广和AI研究留下了宝贵的数据资产。
该负责人举例说,基于“悟道2.0”超大规模人工智能模型的技术支撑,手语数字脑用计算机模仿听障人士的大脑,将看到的中文文本信息转换成手语词汇序列,包括中文语义蒸馏模型和AI手语分词快编算法的研究。中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息,将中文文本语义提炼和精简,形成精准匹配适合手语表达的文本;AI手语分词快编算法则用于将蒸馏得到的中文文本,根据冬奥手语语料库划分成相应的手语词汇序列,供数字人做表达输入。
该负责人还提到,数字人是冬奥手语播报的载体和展现形式,通过高精度写实数字人全流程制作方案,可实现一键数字建模,高度还原真人发肤,重新毛孔等细节,更加真实亲切。同时,通过跨模态拟人生成算法,还可以将手语词汇序列,生成相应的动作信息,驱动数字人模型做出相应的动作、手势和表情。(姚坤森)
数据新闻多元,应探索更多交互体验******
陈积银
(陈积银简介,西安交通大学新闻与新媒体学院教授,博士生导师。中国数据新闻大赛创始人,西安交通大学青年拔尖人才(A类),中组部国家万人计划青年拔尖人才,陕西省智媒研究基地主任,福建省闽江学者特聘教授。曾获第六届全国广播影视“十佳百优”理论人才称号。主持中宣部、中组部、教育部等部委项目多项,在CSSCI期刊等发表论文40余篇。)
随着我国前沿科技的迭代更新,媒体融合不断向纵深发展,数据新闻应运而生。新闻生产方式的创新发展也反映出大众信息需求的变化。全媒体环境下,加强媒体融合视角下数据新闻的技术创新与理念创新成为数据新闻发展的题中应有之义。近年来,新文科建设的呼声高涨,数据新闻也成为新闻传播教育中颇有成效的尝试,推进了技术与人文教育的进一步融合。《中国新闻出版广电报》记者日前就媒体融合视角下数据新闻的发展前景及新文科思维背景下数据新闻人才培养等问题,采访了西安交通大学新闻与新媒体学院教授陈积银。
数据新闻教学应势而生
经过多年的发展与沉淀,数据新闻应用日臻成熟,业界成立了不少专门的制作团队,学界则设置相关课程以培养专业人才。
“数据新闻是在技术推动下发展起来的。”陈积银介绍说,在智能化、5G及媒体融合情境下,数据新闻融合也将获得新的发展机遇,朝着更加成熟与理性的方向发展。
陈积银认为,数据新闻的实践性、专业性非常强,业界的实践领先于学界,但无论是学界还是业界,人才匮乏的现象仍然存在。因此,数据新闻的未来发展方向主要集中在提升人员数据素养,培育数据发掘、可视化制作人才团队等几个方面。
由于学界、业界对数据新闻关注度逐渐提高,学界与业界融合也更加紧密。“学界与业界应积极构建平台,推动优质资源接轨,为数据新闻的发展蓄力。”陈积银建议,可以通过工作坊沙龙等形式进行培训与交流,关注数据新闻制作的核心环节,共同寻找难题的应对方案。
“为贯彻中央媒介融合有关精神,培养大数据时代的一流新闻人才,我于2015年创办了中国数据新闻大赛。”陈积银介绍,该赛事的初衷是“以赛促教”,为中国新闻教育更好地适应大数据时代需求提供探索平台,为国内新闻教育学界师生数据新闻作品提供展示平台。目前,该赛事已经成为引领国内重要新闻院校进行科教融合,开展学科交叉融合(传统新闻传播与现代信息技术)的一个新赛道,并获得业内不少数据新闻团队的认可与积极参与。西安交通大学通过大赛平台,有效促进了文、理、艺交叉的新闻传播教育探索,近年来培养了不少复合型、专家型、国际化的新型新闻人才。
“国内数据新闻的议题越来越多元,应进一步探索交互体验形式。”陈积银说,在每一届的中国数据新闻大赛作品中,都包含经济、政治、环境、民生、体育、娱乐等多种议题,而其交互性逐年提升。未来,将会有更多的创作团队对可听化的数据新闻进行探索,或将数据新闻与游戏等进行结合,实现内容形式和读者体验的双重升级。
探索学科交叉教学模式
“当前数据新闻在追求可视化效果的同时一定程度上忽略了新闻价值和社会功能。”陈积银认为,现在数据新闻在呈现形式上也存在一些问题。部分以网页形式呈现的数据新闻在移动端阅读时存在不兼容问题,导致数据新闻传播受阻。此外,移动阅读的快节奏和碎片化对数据新闻而言也是一个挑战,数据新闻在呈现方式上应注重数据的多样性、内容的交互性及叙事的多维度,以吸引受众阅读和交互。
“尽管当前数据新闻的制作还存在普惠性不强、交互性有待提高、可视化水平参差不齐、思想性有待提高等问题,但也呈现出有数据更有共享、有图表更有内容、有故事更有情怀、有融合更有信仰、有问题更有反思等鲜明特点。”陈积银建议,未来在选题方面,期望更多作品与“坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康”相结合;在数据使用规范方面,希望作品全面保障用户数据安全;在可视化呈现方面,期待作品在可视化实践时注重庞大数据的易读性,以增强传播效果。
“媒体融合大背景下,新闻人才培养特别是数据新闻人才培养过程中存在着一些亟待解决的问题。”陈积银认为,传统新闻学院的教育以文科为主,教师与学生存在技术性知识结构短板的问题,具备跨学科背景的数据新闻领域教师相对较少。目前,我国不少高校的新闻传播学院不断探索专业设置和教学设计,在发展中逐渐走向学科交叉的教学模式。同时,还应注重培养学生的数据思维和算法思维,积极学习数据新闻所需的技术性知识与技能。
“对于文科学生而言,网页制作、可视化技术等操作技能的学习,短期内掌握有些困难,这使得数据新闻教学局限于理论知识。”陈积银说,中国数据新闻大赛为学生们提供了一个理论与实践相结合的机会,缩小了数据新闻领域人才培养与新闻行业需求之间的差异。近几届大赛作品,在选题上内容多元、角度丰富、注重社会价值,在可视化呈现上技术多样、形式丰富、交互性强,在评审方面坚持学界、业界与政界相结合,在教学实践方面收到了良好的成效。
契合新文科背景要求
受疫情影响,智慧教育已成为教育模式转型发展的客观需求,慕课、云课堂现已成为教育新景象。这些新的教育模式颠覆了原有的传统教育模式,同时也促进了新闻传播教育的创新与发展。
“我们需要立足学界、携手业界、服务政界、融入世界,在传统的教育模式上进行自我教学革命。”陈积银认为,业界在技术研发方面的投入,政界在引智方面的投入,使得其在新闻传播技术、应用方面的水准远超学界。因此,当前的新闻传播教育一方面应积极改革,拥抱现代信息技术带来的红利;另一方面,也应保留原来教学中的先进经验,守住意识形态的红线,积极用马克思主义新闻观武装师生的头脑。
“作为新闻传播教育工作者也应完成相应的转变,进一步激发学生学习的主动性、积极性,培养学生的创造力、表达欲、动手能力和团队合作精神。”陈积银建议,一是转变原来上课靠书本的理念,将研讨式教学与体验式教学相结合、启发式教学与自主学习式教学相结合;二是转变原来的身份,从知识传授,转化为方向引领、动力激励、方法指导、结果督察和过程讨论;三是提升前沿知识的学习与科研能力,向学生传授新闻传播国际前沿知识。
“西安交通大学新闻与新媒体学院以工字牌为旗帜,新闻人才培养方案的建设契合了新文科建设背景下新闻教育改革的整体趋势。”陈积银介绍,新闻与新媒体学院组建计算机、公共管理、新闻传播等多学科背景的核心师资队伍,根据新文科建设理念与市场需求,建设协同育人基地以提升学生的数据素养。学院与政企共建的“陕西省智媒研究基地”沿用文理交叉的思路,背靠政界、立足学界、携手业界,为学生提供全智能化的平台资源,使学生在学习传统新闻采编技能的同时,学习短视频摄制、大数据舆情分析等新媒体技术技能。
在教学实践方面,陈积银一直鼓励学生放下课本、走出校园、走进社会,在实践中发现问题、解决问题。他介绍说:“在数据新闻课程教学上,我鼓励同学们根据特长和兴趣自由组队,走到社会上采访调研、收集数据、自主解决难题,共同完成一个数据新闻作品的制作。同学们认为这种学习方式动手操作性强,比课堂教学收获更大。”
“通过鼓励学生们自由组队参加中国数据新闻大赛,磨炼提升了他们的团队合作、沟通协调、专业实践以及前沿探索等各项能力。”陈积银认为,大赛“以赛育人”“以赛促教”,推动了传统新闻传播教育模式向现代化转型,引导学生在作品制作中从简单的多学科知识累加向多学科知识相融转变。同时,也为高校学生和新闻工作者搭建起新闻传播教育学界与业界沟通的桥梁。
(中国新闻出版广电报记者 杜一娜 常湘萍)
(文图:赵筱尘 巫邓炎)