基于分布式协调系统的并行频繁模式增长算法的优化

• 作者: 戴清灏 李环 王洁
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 频繁模式增长算法 并行数据挖掘 分布式协调系统 性能优化
• 年，卷（期）: 2012,（3）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 170-173
• 分类号: TP312
• 字数: 5237字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-137X.2012.03.039

摘要

频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤.并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘.在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略.优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点.该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销.对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王洁	首都师范大学管理学院	20	214	8.0	14.0
2	李环	首都师范大学管理学院	15	93	5.0	9.0
3	戴清灏	首都师范大学管理学院	1	3	1.0	1.0