Alluxio数据随机访问方法的研究

• 作者: 刘晓宇 孙功星 王轶 魏占辰 黄秋兰
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Alluxio分布式内存存储系统 数据随机访问 内存计算 内存映射 科学计算
• 年，卷（期）: 2020,（13）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 77-83
• 页数: 7页
• 分类号: TP311
• 字数: 4865字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1906-0169

摘要

为保证系统的可扩展性和容错性,Alluxio简化了文件系统实现,不支持数据随机访问,但在实际情况中仍有许多应用需要数据随机访问.Alluxio原生Java接口灵活性较差,不支持传统应用,不能完全发挥内存的高速性能.因此在深入分析Alluxio数据读写原理后,提出了新式数据随机访问方法,其核心思想是改变原有数据访问和缓存时机,将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写,从而实现对数据的随机访问.在此基础上,还可以使用内存映射技术进一步提高本地文件的读写性能.测试结果表明,该方法的数据读取性能提升了14.5％,写入性能提升了1.4倍以上.在实际应用场景中合理使用Alluxio及新式数据随机访问方法,可获得数倍至数十倍的性能提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘晓宇	中国科学院高能物理研究所	38	449	11.0	21.0
5	王轶	中国科学院高能物理研究所	2	10	1.0	2.0
9	孙功星	中国科学院高能物理研究所	42	177	8.0	10.0
10	黄秋兰	中国科学院高能物理研究所	14	113	6.0	10.0
11	魏占辰	中国科学院高能物理研究所	2	0	0.0	0.0