基于改进异步DBN模型的听视觉融合情感识别

• 作者: FAN Ping SAHLI Hichem 张晓静[ 蒋冬梅
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 听视觉融合 动态贝叶斯网络 主动外观模型(AAM) 异步约束
• 年，卷（期）: 2014,（21）
• 所属期刊栏目: 图形图像处理
• 页码范围: 162-165,170
• 页数: 5页
• 分类号: TP391.4
• 字数: 4163字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1211-0289

摘要

提出了一个改进的三特征流听视觉融合异步动态贝叶斯网络情感模型（VVA_AsyDBN），采用面部几何特征（GF）和面部主动外观模型特征（AAM）作为两个视觉输入流，语音Mel倒谱特征（MFCC）作为听觉输入流，且视觉流的状态和听觉流的状态可以存在有约束的异步。在eNTERFACE’05听视觉情感数据库上进行了情感识别实验，并与传统的多流同步隐马尔可夫模型（MSHMM），以及具有两个听觉特征流（语音MFCC和局域韵律特征LP）和一个视觉特征流的听视觉异步DBN模型（T_AsyDBN）进行了比较。实验结果表明，VVA_AsyDBN获得了最高识别率75.61%，比视觉单流HMM提高了12.50%，比采用AAM、GF和MFCC特征的MSHMM提高了2.32%，比T_AsyDBN的最高识别率也提高了1.65%。