云计算数据中心HDFS差异性存储节能优化算法

• 作者: 张亚健 杨挺 王萌 盆海波 赵英杰
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 云计算数据中心 分布式文件存储系统 节省能量 超图 (-k)横贯
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 云计算与安全
• 页码范围: 721-735
• 页数: 15页
• 分类号: TP393
• 字数: 13287字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2019.00721

摘要

在云计算的基础设施——数据中心内,Hadoop分布式文件存储系统(Hadoop Distributed File System,HDFS)以高容错性、高可靠性、高可扩展性的优势被广泛使用.但HDFS中遵循机架感知的存储策略没有考虑数据间的差异性和使用频度,所有数据以相同副本数复制后分散存储在不同的DataNode节点中,这势必会开启过多的DataNode而导致数据中心能耗过高.针对这一问题,突破现有HDFS对数据块的恒定副本个数存储的限制,提出保证数据块可用性的可变副本存储策略.建立了分布式文件存储超图模型,数学表述了数据块、文件和DataNode间的多对多关系.基于模型提出一种(-k)每横贯超边计算方法实现数据中心HDFS可变(-k)重极小覆盖集选择,从而确定保证数据可用性的最小数量DataNode开启集合,实现数据中心存储单元节能.在原问题的可行域中会存在多个最优解的情况,即在满足数据块(-k)覆盖的条件下,存在开启DataNode数目最少且相等的多种方案,因此该问题是一个多态函数优化问题,该文提出采用贪心萤火虫算法加以求解.算法性能测试实验通过Hadoop环境下的WordCount、TeraSort和Grep三种典型计算实例运算实验,进行了数据可用性实验,HDFS集群存储负载均衡实验,集群能耗分析以及数据中心网络性能试验.实验结果表明,可变(-k)数据副本最小覆盖集算法在保证数据块和文件可用的条件下,可以实现更少的DataNode开启,有效节省HDFS集群能耗,并且通过开启DataNode的合理配置,缓解了网络传输拥塞.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨挺	天津大学电气自动化与信息工程学院	83	607	12.0	21.0
2	王萌	天津大学电气自动化与信息工程学院	13	149	5.0	12.0
3	盆海波	天津大学电气自动化与信息工程学院	11	42	4.0	6.0
4	张亚健	天津大学电气自动化与信息工程学院	5	59	2.0	5.0
5	赵英杰	天津大学电气自动化与信息工程学院	3	17	2.0	3.0