针对高速数据流的大规模数据实时处理方法

• 作者: 亓开元 房俊 赵卓峰 马强
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 数据流处理 大规模数据处理 MapReduce 物联网 大数据 云计算
• 年，卷（期）: 2012,（3）
• 所属期刊栏目: 《物联网关键理论与技术》专题
• 页码范围: 477-490
• 分类号: TP393
• 字数: 12966字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2012.00477

摘要

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用；通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	房俊	中国科学院计算技术研究所	8	241	5.0	8.0
3	马强	中国科学院计算技术研究所	98	3191	28.0	54.0
7	赵卓峰	中国科学院计算技术研究所	27	288	9.0	16.0
13	亓开元	中国科学院计算技术研究所	5	201	4.0	5.0