面向城轨线网的海量小文件存储方法

• 作者: 刘琼 刘靖 廖家赵
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 小文件存储 城轨线网 FastDFS Redis 访问性能
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 数据工程
• 页码范围: 76-80
• 页数: 5页
• 分类号: TP311
• 字数: 4647字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.08.017

摘要

城轨线网小文件数据量巨大，传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式，提出基于 FastDFS 分布式文件系统和 Redis 键值数据库的城轨线网海量小文件存储方法，将具有相关性的城轨小文件合并成大文件进行聚合写操作；根据 FastDFS 返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引，利用 Redis 存储小文件名和全局索引的键值对；采用数据预取机制，预取创建时间相邻的数据。实验结果表明，相较于 FastDFS 系统，FastDFS-Redis 系统的小文件读写吞吐量分别提高了9．35％和4．45％，达到明显改善城轨线网海量小文件的访问效率的目的。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘靖	广州市地下铁道总公司建设事业总部	10	34	4.0	5.0
2	刘琼	华南理工大学计算机科学与工程学院	29	160	6.0	11.0
3	廖家赵	华南理工大学计算机科学与工程学院	1	5	1.0	1.0