融合人脸表情的手语到汉藏双语情感语音转换

• 作者: 吴沛文 宋南 杨鸿武
• 来源期刊: 声学技术
• 学科: 工学
• 关键词: 手势识别 表情识别 深度神经网络 汉藏双语情感语音合成 手语到语音转换
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 语言和音乐声学
• 页码范围: 372-379
• 页数: 8页
• 分类号: TP391
• 字数: 4968字
• 语种: 中文
• DOI: 10.16300/j.cnki.1000-3630.2018.04.014

摘要

针对聋哑人与正常人之间存在的交流障碍问题,提出了一种融合人脸表情的手语到汉藏双语情感语音转换的方法.首先使用深度置信网络模型得到手势图像的特征信息,并通过深度神经网络模型得到人脸信息的表情特征.其次采用支持向量机对手势特征和人脸表情特征分别进行相应模型的训练及分类,根据识别出的手势信息和人脸表情信息分别获得手势文本及相应的情感标签.同时,利用普通话情感训练语料,采用说话人自适应训练方法,实现了一个基于隐Markov模型的情感语音合成系统.最后,利用识别获得的手势文本和情感标签,将手势及人脸表情转换为普通话或藏语的情感语音.客观评测表明,静态手势的识别率为92.8％,在扩充的Cohn-Kanade数据库和日本女性面部表情(Japanese Female Facial Expression,JAFFE)数据库上的人脸表情识别率为94.6％及80.3％.主观评测表明,转换获得的情感语音平均情感主观评定得分4.0分,利用三维情绪模型(Pleasure-Arousal-Dominance,PAD)分别评测人脸表情和合成的情感语音的PAD值,两者具有很高的相似度,表明合成的情感语音能够表达人脸表情的情感.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨鸿武	西北师范大学物理与电子工程学院	55	308	11.0	14.0
2	宋南	西北师范大学物理与电子工程学院	2	4	1.0	2.0
3	吴沛文	西北师范大学物理与电子工程学院	1	0	0.0	0.0