基于RoBERTa-BiSRU++-AT的微博谣言早期检测模型

• 作者: 梅侠峰 吴晓鸰 吴杰文 凌捷 Hoon Heo
• 学科: 工学
• 关键词: 谣言检测 RoBERTa BiSRU 软注意力机制
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 人工智能与算法
• 页码范围: 34-42
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19304/J.ISSN1000-7180.2021.0722

摘要

针对现有微博谣言检测算法在实用场景中存在滞后性,以及传统深度学习模型特征提取能力不足等问题,提出了基于RoBERTa-BiSRU++-AT的微博谣言早期检测模型,仅使用微博原始文本作为模型输入,不包含任何转发和评论信息或者其他相关特征信息.采用RoBERTa预训练模型学习当前词在特定上下文语境中的动态含义,解决静态词向量无法表示多义词的问题,提升词的语义表征能力;通过双向内置注意力简单循环单元(Simple Re-current Unit with Built-in Self-Attenttion)进行深层语义特征抽取,自注意力机制可以捕获句子内部词与词之间的依赖关系,得到更为全面的高维特征;引入软注意力机制计算不同词对分类结果的重要程度,赋予模型聚焦关键特征的能力,解决输出特征对分类结果影响力一致的问题;得到的软注意力特征经Softmax层计算得到分类概率,取概率最大值对应标签为分类结果.在公开的中文微博谣言数据集进行实验,实验结果表明,本文所提出的基于Ro-BERTa-BiSRU++-AT的模型F1分数达到了 98.16％,高于实验对比的其他微博谣言检测算法,证明该模型对微博文本谣言具有更好的早期识别能力.