基于Spark的并行化高效用项集挖掘算法

• 作者: 何宗浩 何登平 李培强
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 数据挖掘 高效用项集 Spark大数据框架 并行化 Top-K
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 高性能计算
• 页码范围: 1723-1730
• 页数: 8页
• 分类号: TP311
• 字数: 7246字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.10.002

摘要

针对传统基于链表结构的Top-K高效用挖掘算法在大数据环境下不能满足挖掘需求的问题,提出一种基于Spark的并行化高效用项集挖掘算法(STKO).首先从阈值提升、搜索空间缩小等方面对TKO算法进行改进;然后选择Spark平台,改变原有数据存储结构,利用广播变量优化迭代过程,在避免大量重新计算的同时使用负载均衡思想实现Top-K高效用项集的并行挖掘.实验结果表明,该并行算法能有效地挖掘出大数据集中的高效用项集.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何登平	重庆邮电大学通信与信息工程学院	22	75	5.0	7.0
10	何宗浩	重庆邮电大学通信与信息工程学院	2	1	1.0	1.0
14	李培强	重庆邮电大学通信与信息工程学院	4	17	2.0	4.0