基于机器学习的动态分区并行文件系统性能优化

• 作者: 代浩 吴嘉澍 王洋 王红博 须成忠
• 来源期刊: 集成技术
• 学科: 工学
• 关键词: 并行文件系统 性能优化 机器学习 逻辑回归
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 电子信息
• 页码范围: 71-83
• 页数: 13页
• 分类号: TP302
• 语种: 中文
• DOI: 10.12146/j.issn.2095-3135.20200901001

摘要

近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存储系统的性能问题越来越突出.为应对其性能要求,并行文件系统得到了大量的应用.然而现有的并行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同.该文基于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区的并行文件系统优化方法.首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的关系和规律,生成优化模型.其次,以优化模型为基础,辅助并行文件系统的参数调优工作.最后,基于Ceph存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行文件系统访问性能的目的.实验结果表明,所提出方法可以达到85％ 的预测优化准确率;在所提出模型的辅助优化下,并行文件系统的吞吐量性能得到约3.6倍的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王洋	中国科学院深圳先进技术研究院	256	5097	36.0	57.0
2	须成忠	中国科学院深圳先进技术研究院	7	22	2.0	4.0
3	吴嘉澍	中国科学院深圳先进技术研究院	1	0	0.0	0.0
4	王红博	中国科学院深圳先进技术研究院	1	0	0.0	0.0
5	代浩	中国科学院深圳先进技术研究院	1	0	0.0	0.0