基于Hadoop MapReduce的组合服务性能优化研究

• 作者: 秦军 翟钊
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Hadoop 人工鱼群算法 作业调度算法 组合优化
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 61-65
• 页数: 5页
• 分类号: TP301.6
• 字数: 4404字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.05.013

摘要

对Hadoop中的任务调度进行了研究,在分析Hadoop作业调度算法的需求的基础上,文中提出了调度算法在线性意义上的解空间.针对Hadoop的编程模型框架,提出了一种结合禁忌搜索思想的改进人工鱼群算法.在该算法中,以任务总执行时间作为寻优函数,采用线性编码方式,每一个N维向量代表一种具体调度方案;利用将解向量直接作为人工鱼的方法,使人工鱼群算法可以直接在解空间内运行.结合禁忌搜索思想,既保留了人工鱼群算法计算基数大仍能快速收敛的优点,又充分利用禁忌搜索不会陷入局部最优解的优势.通过仿真实验将该算法和Fair算法进行比较,结果表明:改进的人工鱼群作业调度算法可以提高系统性能,降低任务运行时间,是一种Hadoop环境下有效的任务调度程序.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦军	南京邮电大学教育科学与技术学院	91	805	14.0	24.0
2	翟钊	南京邮电大学计算机学院	2	6	2.0	2.0