复合时空特征的双模态情感识别

• 作者: 任福继 侯登永 王晓华 胡敏
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 表情 姿态 时空局部三值模式矩 3维方向梯度直方图 Dempster-Shafer证据理论
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 图像分析和识别
• 页码范围: 39-48
• 页数: 10页
• 分类号: TP181|TP301.6
• 字数: 8018字
• 语种: 中文

摘要

目的 针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法一时空局部三值模式矩(TSLTPM).考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图(3DHOG)特征来增强对情感视频的描述.方法 首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果.结果 在FABO数据库上进行实验,表情和姿态单模态分别取得83.06％和94.78％的平均识别率,在表情上分别比VLBP(体积局部二值模式)、LBP-TOP(三正交平面局部二值模式)、TSLTPM、3DHOG高9.27％、12.89％、1.87％、1.13％;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61％、27.55％、1.18％、0.98％.将两种模态进行融合以后平均识别率达到96.86％,说明了融合表情和姿态进行情感识别的有效性.结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性.另外,与其他方法的对比实验也验证了本文融合方法的优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡敏	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	116	1456	20.0	34.0
2	王晓华	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	37	504	11.0	22.0
3	侯登永	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	3	5	2.0	2.0