基于RCBA模型的多模态讽刺识别

• 作者: 钱梦莹 田生伟 张立强 张新宇 马圆圆
• 来源期刊: 微电子学与计算机
• 学科: 工学
• 关键词: 讽刺识别 多模态 特征融合 注意力机制
• 年，卷（期）: 2022,（6）
• 所属期刊栏目: 人工智能与算法
• 页码范围: 12-21
• 页数: 9页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.19304/J.ISSN1000-7180.2021.1286

摘要

目前，大多数讽刺识别模型都是针对文本数据进行研究，推文中包含的图像数据未得到有效利用，导致讽刺识别任务准确度不高.针对这一问题，提出一种结合注意力机制的联合神经网络模型RCBA，用于图文混合的多模态讽刺识别任务.RCBA模型首先利用结合空间注意力机制和通道注意力机制的深度残差网络(ResNet101)进行图像特征自适应提取; 同时，使用图像属性分类器提取图像属性特征; 其次，将图像属性特征作为双向长短时记忆神经网络(Bi-LSTM)的初始状态，完成文本特征的提取; 随后，通过两层神经网络融合图像特征、图像属性特征和文本特征; 最后使用两层的反向传播网络(BP)作为分类器，完成讽刺识别.该模型在图文Twitter讽刺公开数据集上进行实验，与图文讽刺识别任务的基线模型相比，准确率和F1值分别提升了6.19%、5.29%.实验结果表明RCBA模型能够有效提取多模态数据特征，在讽刺识别任务上具有更好的性能.