一种结合主题模型与段落向量的短文本聚类方法

• 作者: 凌志浩 饶毓和
• 来源期刊: 华东理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 词对主题模型 段落向量 局部离群因子 JS散度 短文本聚类
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 信息科学与工程
• 页码范围: 419-427
• 页数: 9页
• 分类号: TP391
• 字数: 9555字
• 语种: 中文
• DOI: 10.14135/j.cnki.1006-3080.20190430001

摘要

为了克服短文本的稀疏性和高维度性,同时提升文本聚类质量,提出了一种结合词对主题模型(Biterm Topic Model,BTM)与段落向量(Paragraph Vector,PV)的短文本聚类方法.该方法主要包括两个重要步骤:一是利用由词对主题模型所求出的词-文档-主题概率分布,并结合局部离群因子与JS散度对整个文本集合中的词语进行语义拆分;二是将经过词语语义拆分后的文本输入至向量化模型PV-DBOW(Distributed Bag of Words Version of Paragraph Vector)得到段落向量,并将其与对应的文档-主题概率分布拼接起来构成文本特征向量.实验结果表明,本文方法得到的特征向量对短文本具有较强的区分能力,能有效改善短文本的聚类效果,同时也能避免受到短文本的稀疏性影响.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	凌志浩	华东理工大学化工过程先进控制和优化技术教育部重点实验室	112	1990	20.0	43.0
2	饶毓和	华东理工大学化工过程先进控制和优化技术教育部重点实验室	1	0	0.0	0.0