国产化环境下的海量小文件数据分布式存储技术

• 作者: 梁懿 刘迪 陈又咏 董晓祺 许志毅
• 来源期刊: 计算技术与自动化
• 学科: 工学
• 关键词: 国产化环境 海量小文件数据 数据合并 数据迁移 分布式存储技术
• 年，卷（期）: 2024,（3）
• 所属期刊栏目: 计算机软件及应用
• 页码范围: 141-146
• 页数: 6页
• 语种: 中文
• DOI: 10.16339/j.cnki.jsjsyzdh.202303024

摘要

为缓解单一存储设备存储海量小文件的压力，提出了一种国产化环境下的海量小文件数据分布式存储技术。利用聚类算法实现海量小文件合并。以达到最大均衡度为目标，在多项约束条件下利用人工鱼群算法求解分布式存储方案。按照分布式存储方案将海量小文件数据迁移到存储节点及其存储设备上，完成海量小文件数据分布式存储。结果表明：14个存储节点和28个存储设备的内存占用较为均衡，内存资源利用率较高。将小文件样本迁移并存储到节点的过程中，分布式存储均衡度整体波动均超过设定的阈值1.0,说明分布式存储均衡度较好，证明了所提存储技术的有效性。