一种基于特征融合的耳语音向正常音的转换方法

• 作者: 周健 庞聪 王华彬 连海伦 陶亮
• 来源期刊: 南京航空航天大学学报
• 学科: 工学
• 关键词: 语音转换 特征融合 韵律模型 STRAIGHT模型 双向长短期记忆
• 年，卷（期）: 2020,（5）
• 页码范围: 777-782
• 页数: 6页
• 分类号: TN912.3
• 语种: 中文
• DOI: 10.16356/j.1005⁃2615.2020.05.014

摘要

使用耳语音的频谱包络来预估正常音的基频特征,这类算法在对正常音基频预测的准确性上存在一定不足,在合成语音自然度方面存在着明显欠缺,有时会出现音调失常等问题.本文提出一种声学特征融合的方法,通过双向长短期记忆(Bi?long short?term memory,BLSTM)深度网络来逐帧预测正常音基频.首先,使用STRAIGHT模型和相关代码,分别对耳语音和正常音语料进行预处理,提取耳语音的梅尔倒谱系数(Mel?scale frequency cepstral coefficient,MFCC)、韵律及谱包络特征,正常音的基频与谱包络特征.然后使用BLSTM深度网络,分别建立耳语音和正常音谱包络特征之间映射关系,以及耳语音MFCC、韵律及谱包络特征对正常音基频F0的映射关系.最后根据耳语音的MFCC、韵律及谱包络特征获得对应的正常音基频和谱包络,使用STRAIGHT模型合成正常音.实验结果表明,相较于仅使用谱包络估计基频,采用此种方法引入语音韵律和MFCC的融合特征是对基频特征的良好补充,解决了音调失常的现象,转换后的语音在韵律上更加接近正常发音.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶亮		108	931	17.0	25.0
2	王华彬		37	182	8.0	11.0
3	周健		37	157	8.0	11.0
4	庞聪		1	0	0.0	0.0
5	连海伦		1	0	0.0	0.0