使用内存缓存的迭代应用编程框架

• 作者: 汪美玲 赵琛 连文波 陶秋铭
• 来源期刊: 计算机系统应用
• 关键词: 作业依存 内存缓存 迭代程序 迭代间可驻留数据 迭代内依存数据
• 年，卷（期）: 2015,（3）
• 所属期刊栏目: 系统建设
• 页码范围: 44-49
• 页数: 6页
• 字数: 4807字
• 语种: 中文

摘要

迭代式计算是一类重要的大数据分析应用.在分布式计算框架MapReduce上实现迭代计算时,计算会被分解成多个作业并按作业依存关系顺序运行,这使得程序与分布式文件系统(DFS)有多次交互而影响程序执行时间.对这些交互相关数据的缓存会降低与DFS的交互时间,进而提升程序总体的性能.考虑到集群中的大量内存在多数情况下会处于空闲状态,提出了一种使用内存缓存的迭代式应用编程框架MemLoop.该系统从作业提交API、调度算法、缓存管理模块实现缓存管理以充分利用内存缓存迭代间可驻留数据与迭代内依存数据.我们将此框架与已有相关框架进行了比较,实验结果表明该框架能够提升迭代程序的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵琛		18	65	5.0	7.0
2	陶秋铭		5	9	2.0	3.0
3	汪美玲	中国科学院软件研究所基础软件国家工程研究中心	3	5	2.0	2.0
7	连文波	中国科学院软件研究所基础软件国家工程研究中心	1	1	1.0	1.0