基于logistic回归模型的Hadoop本地任务调度优化算法

• 作者: 帅仁俊 沈阳 潘静 董亚楠 陈平
• 来源期刊: 计算机应用研究
• 关键词: Hadoop MapReduce 本地调度 任务优先级 过载规则 logistic回归模型
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 727-729,755
• 页数: 4页
• 分类号: TP393|TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.03.020

摘要

当一个工作节点有多个本地任务可执行时,默认情况下,调度器都是按照任务被发现的先后顺序来进行执行,效率低下.为了优化对本地任务的调度,提出了一种基于机器学习的Hadoop本地任务调度优化算法.选取定义与任务相关的特征向量,然后基于logistic回归模型的机器学习方式得到各向量的作用权值,将任务进行优先级排序,并通过过载规则不断更新模型.通过实验证明,提出的算法在改善map任务的数据本地性的同时,降低了作业运行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	帅仁俊	南京工业大学计算机科学与技术学院	38	154	7.0	10.0
2	潘静	南京工业大学计算机科学与技术学院	13	55	4.0	7.0
3	陈平		27	111	7.0	8.0
4	沈阳	南京工业大学计算机科学与技术学院	5	21	3.0	4.0
5	董亚楠	南京工业大学计算机科学与技术学院	6	17	3.0	4.0