面向DNS日志的MapReduce性能优化技术研究

• 作者: 刘鹤煜 崔华俊 张棪 杨兴华 谭倩
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: DNS日志 数据倾斜 MapReduce 性能优化
• 年，卷（期）: 2018,（2）
• 页码范围: 73-77
• 页数: 5页
• 分类号: TP393
• 字数: 4134字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-2163.2018.02.016

摘要

DNS日志是互联网中重要的访问日志,数量巨大且承载着大量信息,需要借助大数据技术进行处理和分析.现网DNS日志数据量大,且数据倾斜现象严重,对MapReduce的性能有较为严重的影响.基于上述问题,采用小文件合并方法优化分片,缓解Map端的数据倾斜问题,并实现动态设置分片大小,提高MapReduce作业执行效率.该方法有效均衡了Map任务的负载,从而提高了数据倾斜情况下的MapReduce作业的执行效率和资源利用率.实验表明,使用该方法可以有效缩短MapReduce作业的执行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨兴华	中国科学院信息工程研究所	8	49	4.0	7.0
5	张棪	中国科学院信息工程研究所	7	45	4.0	6.0
9	刘鹤煜	中国科学院信息工程研究所	1	0	0.0	0.0
13	崔华俊	中国科学院信息工程研究所	1	0	0.0	0.0
17	谭倩	中国科学院信息工程研究所	1	0	0.0	0.0