大数据环境下的分布式数据流实时处理技术研究

• 作者: 孙丽 梁肖
• 来源期刊: 机床与液压
• 学科: 工学
• 关键词: 大数据 Map Reduce 工作流 分布式 调度方法
• 年，卷（期）: 2019,（6）
• 页码范围: 150-155
• 页数: 6页
• 分类号: TN91
• 字数: 570字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3881.2019.06.026

摘要

大数据背景下的海量分布式数据流处理技术要求较高的实时性和成功率.为了提高分布式环境下数据流实时处理的实时性,采用Hadoop分布式系统平台,提出了一种Map Reduce工作流实时调度优化方法.该方法采用2个相关参数来动态调整每个作业在队列中的重要程度,以便对工作流的优化做出动态的判断.此外,为了减少工作流整体的执行时间,对关键作业能否本地化进行判断和时间对比,从而尽量增加map任务的本地化.实验结果显示,提出的工作流实时调度优化方法在响应时间和调度成功率方面表现出较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙丽	河北政法职业学院计算机系	20	46	4.0	6.0
2	梁肖	河北政法职业学院计算机系	9	20	2.0	4.0