基于纠删码的HDFS存储调度技术

• 作者: 刘晓燕 范涛
• 来源期刊: 软件
• 学科: 工学
• 关键词: 云计算 HDFS存储系统 纠删码 数据处理
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 173-178
• 页数: 6页
• 分类号: TP333
• 字数: 4295字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2018.02.035

摘要

云计算环境下,对数据的实时处理要求高,降低时延、加快数据处理,可以提高客户对数据服务的满意度.在HDFS存储系统下,纠删码技术可以极大节省数据副本的存储空间,并能较好地实现冷数据的存储和使用.通过分析存储节点的负载率和性能指标对文件获取的平均时延的影响,设计了一种基于负载信息和吞吐量的调度算法.通过实验验证发现,调度算法在时延方面最高减少了20％平均时延,服务的稳定性提高了15％,使数据处理更加高效.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘晓燕	昆明理工大学信息自动化学院	68	129	6.0	9.0
2	范涛	昆明理工大学信息自动化学院	2	7	1.0	2.0