基于Hadoop分布式缓存的研究与实践

• 作者: 梁晓杰 王绍宇
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: Hadoop 分布式 缓存
• 年，卷（期）: 2015,（6）
• 页码范围: 29-32
• 页数: 4页
• 分类号: TP392
• 字数: 3489字
• 语种: 中文

摘要

在大规模离线数据的分析场景中,由于元数据库被频繁访问造成的性能瓶颈导致集群计算速度急剧下降.典型的Hadoop平台多基于磁盘进行数据读写,磁盘的读写速度又明显不如内存.针对这种情况,本文基于Hadoop平台,结合对其他分布式缓存的研究,提出了一种新的分布式缓存技术来加快数据的计算速度,从而提高数据的计算时效性.实验结果表明应用于Hadoop的MMap内存模型能极大地提升了集群的计算速度.该模型能有效将文件映射到内存区域,减少内核与用户空间来回拷贝数据,同时数据异步式追加方式不会阻塞计算进程,能有效提升集群整体的计算能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王绍宇	东华大学计算机科学与技术学院	12	76	4.0	8.0
2	梁晓杰	东华大学计算机科学与技术学院	1	2	1.0	1.0