基于MapReduce的关联规则并行增量更新算法

• 作者: 杨勇 高松松
• 来源期刊: 重庆邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 关联规则 大数据 增量更新 MapReduce 快速更新频繁模式树(FUFP-tree)
• 年，卷（期）: 2014,（5）
• 所属期刊栏目: 计算机与自动化
• 页码范围: 670-678
• 页数: 9页
• 分类号: TP181
• 字数: 9124字
• 语种: 中文
• DOI: 10.3979/j.issn.1673-825X.2014.05.019

摘要

针对在关联规则的实际挖掘中,由数据快速增加所造成的大数据问题和增量更新问题.在快速更新频繁模式树算法(fast updated frequent pattern tree,FUFP-tree)的基础上,引入MapReduce并行编程模型,提出了一个面向大数据的并行的关联规则增量更新算法(parallel fast updated frequent pattern tree,PFUFP-tree).该算法通过构建原始事务数据的分块索引,从而使得在每次增量更新时,能够最小化地扫描原始事务数据库,提高了挖掘效率;同时采用动态负载均衡的项目分组策略来优化并行计算过程中的项集分组问题,从而保证分布式集群中节点之间的负载均衡;实验结果证明,提出的算法是有效的和高效的,适用于动态增长的大数据环境.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨勇	重庆邮电大学计算智能重庆市重点实验室	38	392	11.0	18.0
2	高松松	重庆邮电大学计算智能重庆市重点实验室	1	15	1.0	1.0