腾讯打造了一个虚拟美女主播 手语解说冬奥会-腾讯,主播
不知大家有没有注意到,2月5日晚短道速滑混合团体接力A组决赛中,央视频AI手语数智人主播 聆语 用活灵活现、准确无误的手语,为听障人士生动地传达了北京冬奥冰雪赛事的精彩内容。
聆语 是央视总台打造的AI手语翻译官,让处于无声世界中的特殊人群也能 听 到中国举办冰雪赛事的盛况!
腾讯表示,聆语由腾讯的技术团队打造,除了她之外,还有一个小聪。他俩的特点是:手语表达能力接近真人;能自行学习,快速补充海量新词、热词。
据介绍,聆语、小聪背后,整合了3D数字人建模、语音识别、语义理解、机器翻译和图像渲染技术等。
腾讯开发出了一套手语翻译系统,只需输入健听人语言,即可通过机器翻译低延迟生成高准确率的手语语言表征,比如:输入 他是我的手语老师 ,预处理为 他 是 我 的 手语 老师 ,翻译为 他 我 手语 老师 是 。
接着,驱动手语数字人准确表达,基于腾讯多模态端到端生成模型,进行联合建模及预测生成高准确率的动作、表情、唇动等序列,实现自然专业、易懂度高的手语效果。通过这项技术,AI手语可懂度达90%以上。