基于Att-iBi-LSTM的新闻主题词提取方法研究

• 作者: 柴悦 江逸琪 赵彤洲 高佩东
• 来源期刊: 武汉工程大学学报
• 学科: 工学
• 关键词: LSTM Attention机制 主题词提取
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 机电与信息工程
• 页码范围: 575-580
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19843/j.cnki.CN42-1779/TQ.202003021

摘要

针对LSTM网络进行主题词提取时因没有考虑中心词的下文对主题词的影响而导致提取准确率低的问题,提出了一种双向LSTM引入Attention机制模型(Att-iBi-LSTM)的主题词提取方法.首先利用LSTM模型将中心词的上文和下文信息在两个方向上建模;然后在双向LSTM模型中引入注意力机制,为影响力更高的特征分配更高的权重;最后利用softmax层将文档中的词分为主题词或非主题词.并且还提出了一种两阶段模型训练方法,即在自动标注的训练集上进行预训练之后,再利用人工标注数据集训练模型.实验在体育、娱乐和科技3种新闻文本上进行主题词提取任务,实验结果表明本文提出的Att-iBi-LSTM模型与SVM、TextRank和LSTM相比F1值分别提高了13.78％、24.31％和3.32％,使用两阶段训练方法的Att-iBi-LSTM比一阶段训练的F1值提高了1.56％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵彤洲		35	113	6.0	9.0
2	柴悦		2	0	0.0	0.0
3	江逸琪		2	0	0.0	0.0
4	高佩东		2	0	0.0	0.0