基于LightGBM的文本关键词提取方法

• 作者: 马莉媛 黄勃 朱良奇 黄季涛 李梦君 荆苗苗
• 来源期刊: 软件导刊
• 关键词: 提取 特征工程 LightGBM Word2Vec 词向量
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 人工智能
• 页码范围: 18-22
• 页数: 5页
• 分类号: TP301
• 语种: 中文
• DOI: 10.11907/rjdk.202190

摘要

为提升文本关键词提取准确率和效率,提出一种基于LightGBM的文本关键词提取方法.该方法通过TF-IDF提取候选关键词,利用Word2Vec计算词向量,并采用特征工程,对候选关键词进行特征提取,再经由LightGBM算法将关键词提取转换为二分类问题.通过实验对比TF-IDF算法、TextRank算法、LDA算法及LightGBM算法对文本关键词提取的准确率P、召回率R及F1.结果表明,当TopN取2～5时,F1平均值比最优方法提升4.8％.该方法抽取效果整体上均优于实验选取的对比方法,证明将特征工程与LightGBM融合可提升关键词抽取效果.