Hadoop平台数据访问监控机制研究

• 作者: 李光瑞 梁毅 王玉凤 金翊
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hadoop Map/Reduce 监控 数据访问
• 年，卷（期）: 2014,（22）
• 所属期刊栏目: 理论研究、研发设计
• 页码范围: 43-49
• 页数: 7页
• 分类号: TP302
• 字数: 7200字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1212-0302

摘要

针对Hadoop平台数据被任务调度感知，进行本地化处理的新特征，探索Haoop平台中Map任务数据访问监控机制。提出Hadoop平台数据访问监控不仅应服务于数据存取效率的提升，还应服务于Map/Reduce并行作业执行效率提升的基本思想，并增加对并行执行多Map任务数据访问开销均衡性的监控。基于该思想，定义Hadoop平台数据访问监控的粒度和监控信息组成；依托Hadoop平台现有结构，设计了基于master-slave的监控体系结构，并给出了监控主要功能模块的具体实现技术及测试结果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁毅	北京工业大学计算机学院	25	56	5.0	6.0
2	王玉凤	北京工业大学计算机学院	1	5	1.0	1.0
3	金翊		6	13	2.0	3.0
4	李光瑞	北京工业大学计算机学院	1	5	1.0	1.0