基于LDA模型和Doc2vec的学术摘要聚类方法

• 作者: 刘志鹏 张卫卫 翟广宇 胡亚琦
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 短文本聚类 LDA模型 Doc2vec模型 学术摘要
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 180-185
• 页数: 6页
• 分类号: TP391
• 字数: 6432字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1905-0148

摘要

针对特定任务下的短文本聚类已经成为文本数据挖掘的一项重要任务.学术摘要文本由于数据稀疏造成了聚类结果准确率低、语义鸿沟问题,狭窄的域导致大量无关紧要的单词重叠,使得很难区分主题和细粒度集群.鉴于此,提出一种新的聚类模型——主题句向量模型(Doc2vec-LDA,Doc-LDA),该模型通过将LDA主题模型(Latent Dirichlet Allocation)和句向量模型融合(Doc2vec),不仅使得在模型训练过程中既能利用整个语料库的信息,而且还利用Paragraph Vector的局部语义空间信息完善LDA的隐性语义信息.实验采用爬取到的知网摘要文本作为数据集,选用K-Means聚类算法对各模型的摘要文本进行效果比较.实验结果表明,基于Doc-LDA模型的聚类效果优于LDA、Word2vec、LDA+Word2vec模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡亚琦	兰州交通大学电子与信息工程学院	21	46	4.0	6.0
2	张卫卫	兰州交通大学电子与信息工程学院	2	0	0.0	0.0
3	翟广宇	兰州理工大学经济管理学院	1	0	0.0	0.0
4	刘志鹏	兰州交通大学电子与信息工程学院	2	0	0.0	0.0