支持大规模流数据处理的在线MapReduce 数据传输机制

• 作者: 刘圆圆 庄园 李丽娜 李洪亮 李翔 李聪 魏晓辉
• 来源期刊: 吉林大学学报（理学版）
• 学科: 工学
• 关键词: 大数据 流数据处理 MapReduce模型 数据传输机制
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 计算机科学
• 页码范围: 273-279
• 页数: 7页
• 分类号: TP391
• 字数: 4504字
• 语种: 中文
• DOI: 10.13413/j.cnki.jdxblxb.2015.02.23

摘要

针对流数据规模参差不齐、流量动态变化且突发性较强的特点，提出一种可伸缩的动态 MapReduce 计算模型，支持大规模动/静态数据在线处理。基于 Event 推送方式，利用Netty 底层异步通信方式等技术，建立在线 MapReduce 数据传输机制，进一步实现其原型程序，解决了大规模分布式计算程序的快速在线传输和数据分发等问题，支持流数据动态分发机制，为动态 MapReduce 模型提供支撑。与 HadoopOnline 系统的传统 Socket 管道传送方式相比，该方法能有效提高作业之间数据的传送效率，从而提高大规模流数据处理的实时性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏晓辉	吉林大学计算机科学与技术学院	36	164	6.0	11.0
2	李丽娜	吉林大学计算机科学与技术学院	14	51	3.0	7.0
3	李聪	吉林大学计算机科学与技术学院	35	89	6.0	8.0
4	庄园	吉林大学计算机科学与技术学院	5	8	2.0	2.0
5	李洪亮	吉林大学计算机科学与技术学院	16	43	4.0	6.0
6	李翔	吉林大学计算机科学与技术学院	9	57	3.0	7.0
7	刘圆圆	吉林大学计算机科学与技术学院	4	39	3.0	4.0