基于核心词项平均划分相似度的短文本聚类算法

• 作者: 成玉丹 朱志强 贾俊杰 马慧芳
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 短文本聚类 核心词项 平均划分相似度 概率相关性 熵
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 1562-1569
• 页数: 8页
• 分类号: TP391
• 字数: 6423字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.08.027

摘要

针对短文本特征极度稀疏、上下文依赖性强等特点,以自顶向下的策略,提出一种基于核心词项平均划分相似度的短文本聚类算法CTMPS.该方法首先在整个短文本语料库中计算词项之间的概率相关性,以此为基础对短文本中词项进行加权,将权值较大的词项作为最能代表该短文本的核心词项形成核心词项集;以信息论为基础,将核心词项作为划分依据计算平均划分相似度,选择平均划分相似度值最大包含该核心词项的短文本形成一类,用此策略反复迭代直到满足要求.最后,实验结果表明,本文提出的方法显著地提高了短文本聚类的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马慧芳	西北师范大学计算机科学与工程学院	59	520	12.0	21.0
2	贾俊杰	西北师范大学计算机科学与工程学院	17	34	3.0	5.0
3	成玉丹	西北师范大学计算机科学与工程学院	5	8	2.0	2.0
4	朱志强	西北师范大学计算机科学与工程学院	2	11	2.0	2.0