基于注意力机制面向短文本多分类的关键词权重优化

• 作者: 彭伟乐 武浩 徐立
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 词频 重构文本 关键词 注意力机制 权重优化
• 年，卷（期）: 2021,（z2）
• 所属期刊栏目: 人工智能|Artificial intelligence
• 页码范围: 19-24
• 页数: 6页
• 分类号: TP389.1
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2021030461

摘要

关键词语义敏感影响短文本选择关键词赋予合适权重.针对仅关注关键词是否完备没有考虑到混淆关键词会对分类造成消极影响的问题,提出一种降低混淆关键词权重实现关键词权重优化的模型.首先,基于词频?逆文件频率(TF-IDF)和混淆矩阵的原理选择文本中被定义的混淆关键词.然后,基于注意力机制构建文本表征,通过全连接层降维重构表征;训练重构的表征尽可能相似于原表征,从而选出能保留句子信息的关键词;将混淆关键词从提取的关键词里排除出去,将筛选后的关键词称为强关键词.最后,使用双向长短记忆网络?注意力机制(BiLSTM-Attention)经典模型作短文本多分类的基础模型.在此基础模型之上把强关键词整体做嵌入表示加入到BiLSTM-Attention模型中的注意力部分激活函数计算当中.与BiLSTM-Attention基础模型进行的实验结果表明,所提模型在Snippets公开数据集上,分类准确率提高0.41个百分点.