融合LSTM和LDA差异的新闻文本关键词抽取方法

• 作者: 严馨 周枫 宁珊 张金鹏 王红斌
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 关键词抽取 新闻标题 TextRank算法 word2vec模型 LDA模型
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 153-160
• 页数: 8页
• 分类号: TP391.1
• 字数: 7482字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2020.01.020

摘要

针对语义信息对TextRank的影响,同时考虑新闻标题信息高度浓缩以及关键词的覆盖性与差异性的特点,提出一种新的融合LSTM和LDA差异的关键词抽取方法.首先对新闻文本进行预处理,得到候选关键词;其次通过LDA主题模型得到候选关键词的主题差异影响度;然后结合LSTM模型和word2vec模型计算候选关键词与标题的语义相关性影响度;最后将候选关键词节点按照主题差异影响度和语义相关性影响度进行非均匀转移,得到最终的候选关键词排序,抽取关键词.该方法融合了关键词的语义重要性、覆盖性以及差异性的不同属性.在搜狗全网新闻语料上的实验结果表明,该方法的抽取结果相比于传统方法在准确率和召回率上都有明显提升.