由嘴唇视频直接生成语音的研究

• 作者: 贾振堂
• 来源期刊: 计算机应用研究
• 关键词: 嘴唇运动特征 语音分析与合成 LPC10 直接生成 LSTM
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 图形图像技术
• 页码范围: 1890-1894
• 页数: 5页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.11.0912

摘要

为了更便捷地实现唇声转换,提出了一种由嘴唇视频直接生成语音的方法,并对相关问题进行了研究.首先同步地计算视频文件中的嘴唇运动特征和对应的LPC10话音编码参数,然后借助LSTM人工神经网络进行端到端的训练.训练后的网络模型可以将嘴唇运动特征映射为语音编码参数,再采用语音合成技术将语音编码参数转换成可以播放的语音样值数据.该方法跳过了中间的文字环节,因此称为直接生成,具有可方便地得到训练样本、无须人工标注的优点,同时也可以避免文本重建语音方法中存在的发音歧义.测试结果表明,在词汇量有限的应用情境中,该方法可以由嘴唇视频重建较为清晰可懂的语音.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贾振堂	上海电力大学电子与信息工程学院	18	50	4.0	6.0