结合语义改进的K-means短文本聚类算法

• 作者: 林明明 王伟 赵彬 邱云飞
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本挖掘 短文本聚类 K-means算法 最大频繁词集 知网 语义相似度
• 年，卷（期）: 2016,（19）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 78-83
• 页数: 6页
• 分类号: TP391.1
• 字数: 6754字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1412-0418

摘要

针对短文本聚类存在的三个主要挑战，特征关键词的稀疏性、高维空间处理的复杂性和簇的可理解性，提出了一种结合语义改进的K-means短文本聚类算法。该算法通过词语集合表示短文本，缓解了短文本特征关键词的稀疏性问题；通过挖掘短文本集的最大频繁词集获取初始聚类中心，有效克服了K-means聚类算法对初始聚类中心敏感的缺点，解决了簇的理解性问题；通过结合TF-IDF值的语义相似度计算文档之间的相似度，避免了高维空间的运算。实验结果表明，从语义角度出发实现的短文本聚类算法优于传统的短文本聚类算法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王伟	辽宁工程技术大学软件学院	39	229	9.0	13.0
2	邱云飞	辽宁工程技术大学软件学院	70	620	13.0	22.0
3	林明明	辽宁工程技术大学软件学院	7	28	3.0	5.0
4	赵彬	辽宁工程技术大学软件学院	4	28	2.0	4.0