Storm环境下一种改进的任务调度策略

• 作者: 于炯 刘月超 鲁亮
• 来源期刊: 新疆大学学报（自然科学版）
• 学科: 工学
• 关键词: 大数据 Storm 数据处理 调度
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 信息科学与技术
• 页码范围: 90-95
• 页数: 6页
• 分类号: TP392
• 字数: 3097字
• 语种: 中文
• DOI: 10.13568/j.cnki.651094.2017.01.017

摘要

随着大数据业务的快速增长,针对大规模数据处理的实时计算变成了一种业务上的需求,缺少“实时的Hadoop系统”经成为整个大数据生态系统中的一个巨大缺失,Storm的出现很好地满足了这一需求.然而,Storm 默认的round-robin资源调度,既不考虑内部组件的传输延迟时间,也不考虑节点间的传输延迟.因此,本文提出了Storm环境下一种改进的任务调度策略(Improved Storm Task Schedule Strategy,ISTS),该策略旨在提高通过最大限度地提高资源利用率和吞吐量同时最小化网络延迟.实验结果表明,使用ISTS进行任务调度时,可以同时满足软、硬资源限制以及最小化组件之间的网络传输距离.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
5	鲁亮	新疆大学信息科学与工程学院	31	234	10.0	13.0
6	刘月超	新疆大学信息科学与工程学院	2	32	2.0	2.0