基于Spark平台的热点话题发现算法并行化研究

• 作者: 王新星
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 话题发现 Single-Pass Spark平台 Kernel K-means算法
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 算法与语言
• 页码范围: 51-54
• 页数: 4页
• 分类号: TP312
• 字数: 2847字
• 语种: 中文
• DOI: 10.11907/rjdk.161712

摘要

话题发现中最常用的方法是基于增量式的Single-Pass聚类算法,但是其依赖于文档的输入顺序且效率低下.针对这两个问题,提出在多层次话题发现基础上,基于Spark平台的算法并行化,将传统的Kernel K-means算法进行并行化处理,以并行化的方式对数据进行初步聚类,并对后续数据进行增量式聚类.实验表明,多层次处理提高了话题的准确性;同时,并行化方式相比传统的话题发现方法,其效率有较大提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王新星	西安工程大学计算机科学学院	1	0	0.0	0.0