基于ALBERT动态词向量的垃圾邮件过滤模型

• 作者: 仝鑫 周枝凝 王斌君 翟一鸣
• 来源期刊: 信息网络安全
• 学科: 工学
• 关键词: 中文垃圾邮件 循环神经网络 ALBERT模型 动态词向量
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 入选论文
• 页码范围: 107-111
• 页数: 5页
• 分类号: TP309
• 语种: 中文
• DOI: 10.3969/j.issn.1671-1122.2020.09.022

摘要

针对垃圾邮件分类问题中词向量学习不充分的问题,文章引入ALBERT动态词向量生成模型,并提出一种将ALBERT动态词向量与循环神经网络相结合的ALBERT-RNN模型.利用公开的垃圾邮件数据集(TEC06C),对传统统计学模型与4种不同RNN结构的ALBERT-RNN模型进行了对比实验,并用Focal Loss方法对交叉熵损失函数进行了优化.实验结果表明,使用Focal Loss优化的ALBERT-LSTM模型在TEC06C数据集上达到了较高的准确率(99.13％).