基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

• 作者: 李幼军 王海渊 钟宁 黄佳进
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 多模态生理信号情感识别 栈式自编码神经网络 长短周期记忆循环神经网络 多模态生理信号融合
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 学术论文
• 页码范围: 109-120
• 页数: 12页
• 分类号: TP181|TP183
• 字数: 10721字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2017294

摘要

为了提高情感识别的分类准确率,提出一种将栈式自编码神经网络(SAE)和长短周期记忆单元循环神经网络(LSTM RNN)融合的多模态融合特征情感识别方法.该方法通过 SAE 对不同模态的生理特征进行信息融合和压缩,随后用LSTM RNN对长时间周期的融合进行情感分类识别.通过将该方法用到开源数据集中进行验证,得到情感分类准确率达到0.7926.实验结果表明,SAE对多模态生理特征进行了有效融合,LSTM RNN能够有效地对长时间周期中的关键特征进行识别.