一种基于MinHash的改进新闻文本聚类算法

• 作者: 王安瑾
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Min Hash Jaccard系数 DBSCAN 文本聚类
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 39-42
• 页数: 4页
• 分类号: TP301.6
• 字数: 3741字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2019.02.008

摘要

信息技术的不断发展, 带来的是网络上新闻文本的快速增长, 面对大量的新闻文本, 对其进行有效聚类就显得十分重要.基于上述需求, 提出一种基于MinHash的DBSCAN聚类算法.针对传统向量空间模型文本聚类存在的数据维度高、计算复杂度大、资源消耗多的问题, 该算法使用Min Hash对所有文本的文本特征词集合进行降维, 从而有效减少了资源的浪费.对新得到的特征矩阵中的数据任意两两计算Jaccard系数, 将每一个结果与DBSCAN聚类中给定的邻域半径Eps进行比较并计算所有距离大于邻域半径Eps的点的周围节点数目是否大于等于形成一个簇所需要的最小点数MinPts, 由此可以判断该文本是否为核心点, 是否可以形成簇.实验结果表明, 该方法对于新闻文本聚类有着很好的效果, 可以对网络上错综复杂的新闻文本进行有效的聚类.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王安瑾	东华大学计算机科学与技术学院	1	4	1.0	1.0