融合多模态信息的社交网络谣言检测方法

• 作者: 张少钦 杜圣东 张晓博 李天瑞
• 来源期刊: 计算机科学
• 关键词: 多模态 谣言检测 深度学习 目标检测
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 数据库&大数据&数据科学|Database & Big Data & Data Science
• 页码范围: 117-123
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.200400057

摘要

随着社交网络平台的发展,社交网络已经成为人们获取信息的重要来源.然而社交网络的便利性也导致了虚假谣言的快速传播.与纯文本的谣言相比,带有多媒体信息的网络谣言更容易误导用户以及被传播,因此对多模态的网络谣言检测在现实生活中有着重要意义.研究者们已提出若干多模态的网络谣言检测方法,但这些方法都没有充分挖掘出视觉特征和融合文本与视觉的联合表征特征.为弥补这些不足,提出了一个基于深度学习的端到端的多模态融合网络.该网络首先抽取出图片中各个兴趣区域的视觉特征,然后使用多头注意力机制将文本和视觉特征进行更新与融合,最后将这些特征进行基于注意力机制的拼接以用于社交网络多模态谣言检测.在推特和微博公开数据集上进行对比实验,结果表明,所提方法在推特数据集上F1值有13.4％的提升,在微博数据集上F1值有1.6％的提升.