Redis分布式缓存技术在Hadoop平台上的应用

• 作者: 姚经纬 杨福军
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Redis 分布式缓存 Hadoop MapReduce
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 应用开发研究
• 页码范围: 146-150,155
• 页数: 6页
• 分类号: TP311.5
• 字数: 6355字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.06.030

摘要

在使用Hadoop进行大规模数据分析时,经常会遇到的一个较为典型的问题就是共享数据的快速访问问题.该类问题存在的场景很多,如网页排名算法、最小错误率训练算法、最大期望算法等.虽然已有关于此类问题的解决方案,但实际取得的效果却不尽如人意.为此,提出了使用Redis内存数据库作为分布式缓存,以解决Hadoop中共享数据访问的问题.验证实验结果表明,Redis分布式缓存的吞吐率与集群规模有较好的线性关系,所提出的方法能够较好地解决Hadoop任务对共享数据的访问问题,同时也为其他大规模共享数据访问的问题提供了简便的解决思路.Redis作为开源的商业化工具,使得所提出的方法具有较好的适用性,可为科研以及生产实践中遇到的同类问题提供一种较为通用的解决方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨福军	中国空气动力研究与发展中心计算空气动力研究所	6	29	2.0	5.0
2	姚经纬	江南大学物联网工程学院	2	23	1.0	2.0