基于Spark的学术研究热点挖掘方法

• 作者: 张聪 易秀双 朱明浩 王兴伟
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 学术论文 隐含狄利克雷分布 背景主题 主题排序 研究热点
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 171-175
• 页数: 5页
• 分类号: TP391
• 字数: 4406字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0053019

摘要

通过优化Spark MLlib机器学习库中的隐含狄利克雷分布(LDA)主题模型,提出一种改进的学术研究热点挖掘方法.采用LDA主题模型对学术论文关键词进行建模,利用困惑度确定主题模型的最佳主题个数,并将文档-主题和主题-词概率分布矩阵转化为文档-主题和主题-词评分矩阵.通过计算背景主题与评分矩阵中各主题之间的相似度对主题进行排序,挖掘出学术论文中的研究热点.实验结果表明,该方法能提高LDA主题模型的挖掘效果,有助于发现有价值的学术研究热点主题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王兴伟	东北大学计算机科学与工程学院	347	1979	22.0	33.0
2	易秀双	东北大学计算机科学与工程学院	27	78	5.0	7.0
3	张聪	东北大学计算机科学与工程学院	4	4	1.0	2.0
4	朱明浩	东北大学计算机科学与工程学院	1	0	0.0	0.0