基于图覆盖的大数据全比较数据分配算法

• 作者: 张雪英 李凤莲 田玉楚 高燕军
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 分布式计算 大数据 全比较 数据分配 图覆盖
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 大数据专题
• 页码范围: 17-22,27
• 页数: 7页
• 分类号: TP301.6
• 字数: 5216字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2018.04.003

摘要

在对大数据全比较问题进行分布式处理的过程中,现有的数据分配策略较少考虑比较任务和数据之间的特殊依赖关系,导致存储效率下降、任务分配不均衡.为此,提出基于图覆盖的数据分配算法.通过理论分析将大数据全比较的数据分配问题归纳为图覆盖问题,在此基础上构造图覆盖的最优解,根据特解分配数据.实验结果表明,与基于Hadoop的数据分配策略相比,该算法可确保比较任务具有100％的数据本地性,使节点之间达到负载均衡,并且提高存储节约率和整体计算性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张雪英	太原理工大学信息工程学院	233	1213	15.0	23.0
2	李凤莲	太原理工大学信息工程学院	44	117	6.0	9.0
3	田玉楚	太原理工大学信息工程学院	5	14	3.0	3.0
7	高燕军	太原理工大学信息工程学院	1	3	1.0	1.0