基于Map Reduce的序列模式挖掘算法

• 作者: 刘栋 尉永清 薛文娟
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 云计算 并行处理 Map Reduce模型 PrefixSpan算法 序列模式 Hadoop平台
• 年，卷（期）: 2012,（15）
• 所属期刊栏目: 软件技术与数据库
• 页码范围: 43-45
• 分类号: TP391
• 字数: 3104字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2012.15.012

摘要

传统数据挖掘算法在处理海量数据集时计算能力有限.为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR-PrefixSpan.在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间.采用Reduce函数对中间结果进行规约,得到全局序列模式.在Hadoop集群上的实验结果表明,MR-PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘栋	山东师范大学信息科学与工程学院	11	111	6.0	10.0
3	尉永清	山东警察学院公共基础部	14	116	7.0	10.0
6	薛文娟	山东师范大学信息科学与工程学院	2	23	2.0	2.0