一种基于注意力机制的中文短文本关键词提取模型

• 作者: 吴岳辛 杨丹浩 范春晓
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 注意力机制 词向量 字向量 关键词抽取 LSTM
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 人工智能
• 页码范围: 193-198
• 页数: 6页
• 分类号: TP391
• 字数: 6044字
• 语种: 中文
• DOI: 10.11896/jsjkx.181202261

摘要

关键词抽取技术是自然语言处理领域的一个研究热点.在目前的关键词抽取算法中,深度学习方法较少考虑到中文的特点,汉字粒度的信息利用不充分,中文短文本关键词的提取效果仍有较大的提升空间.为了改进短文本的关键词提取效果,针对论文摘要关键词自动抽取任务,提出了一种将双向长短时记忆神经网络(Bidirectional Long Shot-Term Memory,BiL-STM)与注意力机制(Attention)相结合的基于序列标注(Sequence Tagging)的关键词提取模型(Bidirectional Long Short-term Memory and Attention Mechanism Based on Sequence Tagging,BAST).首先使用基于词语粒度的词向量和基于字粒度的字向量分别表示输入文本信息;然后,训练BAST模型,利用BiLSTM和注意力机制提取文本特征,并对每个单词的标签进行分类预测;最后使用字向量模型校正词向量模型的关键词抽取结果.实验结果表明,在8159条论文摘要数据上,BAST模型的F1值达到66.93％,比BiLSTM-CRF(Bidirectional Long Shoft-Term Memory and Conditional Random Field)算法提升了2.08％,较其他传统关键词抽取算法也有进一步的提高.该模型的创新之处在于结合了字向量和词向量模型的抽取结果,充分利用了中文文本信息的特征,可以有效提取短文本的关键词,提取效果得到了进一步的改进.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	范春晓	北京邮电大学电子工程学院	38	1499	8.0	38.0
2	吴岳辛	北京邮电大学电子工程学院	6	36	4.0	6.0
3	杨丹浩	北京邮电大学电子工程学院	1	0	0.0	0.0