一种基于Hadoop的动态树增量更新方法

• 作者: 郭鑫 颜一鸣
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 数据挖掘 数据库 云计算 并发控制 频繁子树 增量更新
• 年，卷（期）: 2014,（3）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 67-70,92
• 页数: 5页
• 分类号: TP311.12
• 字数: 4606字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.03.014

摘要

为适应真实环境中数据量大、流程复杂、计算密集的数据挖掘需求，提高传统树增量更新挖掘效率，改变已有算法的串行执行方式，提出一种基于Hadoop的动态树增量更新方法。介绍云计算、模型与执行流程等基本概念，针对现有Hadoop平台中任务调度的随机分配策略，设计一种动态云平台中的资源调度与分配算法，以期达到成本消耗的最小化，给出树增量更新挖掘算法以及2个并行算法(DeleteFreqTree和 FindNewTree)，完成树数据的增量挖掘工作。实验结果表明，该并行算法有效可行，具有高效性与良好的扩展率，能够对海量树数据进行更新挖掘。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭鑫	吉首大学软件服务外包学院	35	135	7.0	10.0
2	颜一鸣	吉首大学软件服务外包学院	23	214	5.0	14.0