一种具有容错机制的MapReduce模型研究与实现

• 作者: 史椸 耿晨 齐勇
• 来源期刊: 西安交通大学学报
• 关键词: 多核 虚拟机 容错 MapReduce
• 年，卷（期）: 2014,（2）
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP311
• 语种: 中文
• DOI: 10.7652/xjtuxb201402001

摘要

针对传统MapReduce模型的容错机制对错误的处理效率低下等问题,提出了一种基于多核虚拟机的具有容错机制的MapReduce模型.该模型使用检查点机制进行错误恢复,并只对中间结果和必要的状态信息进行保存;利用虚拟机在隔离内存中保存中间结果;根据用户的需要及系统的负载情况动态调整系统中工作节点的个数.通过在SUN的32核、主频为2.38 GHz、内存为128 GB服务器上的测试,结果表明:与传统MapReduce模型相比,改进MapReduce模型降低了通信上的开销,提高了MapReduce运行过程的可靠性和错误恢复的性能,虚拟机监控器可以完全控制和管理多核平台的内存,使操作系统无法直接访问隔离的内存,数据恢复不会受到操作系统内部各种错误的影响,保证了恢复数据的安全性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	齐勇	西安交通大学电子与信息工程学院	80	870	16.0	27.0
2	史椸	西安交通大学电子与信息工程学院	16	47	4.0	5.0
3	耿晨		1	8	1.0	1.0