Ceph系统中海量气象小文件存取性能优化方法

• 作者: 王勇 陆小霞 雷晓春
• 来源期刊: 桂林电子科技大学学报
• 学科: 工学
• 关键词: Ceph分布式文件系统 小文件 相关性合并 预读取
• 年，卷（期）: 2019,（1）
• 页码范围: 61-66
• 页数: 6页
• 分类号: TP302
• 字数: 4313字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-808X.2019.01.011

摘要

为解决Ceph在处理海量气象小文件时,由于集群数据双倍写入会导致存储性能下降问题,提出了一种Ceph系统中海量气象小文件存取性能优化方法.该方法通过分析文件历史访问日志得到气象小文件间的关联概率,然后依据关联概率设计出文件合并算法将相关联的小文件合并后再存储到Ceph集群;访问文件时,根据文件块的利用率和相关率来衡量合并后小文件间的相关性,并根据其相关性进行文件预读取,减少用户与集群的交互以提高小文件的访问效率.实验表明,该方法与现有方法相比,能明显提高Ceph系统中海量气象小文件的存储效率和访问效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王勇	桂林电子科技大学计算机与信息安全学院	178	1032	16.0	23.0
5	雷晓春	桂林电子科技大学计算机与信息安全学院	9	18	2.0	4.0
9	陆小霞	桂林电子科技大学信息与通信学院	1	1	1.0	1.0