面向海量新闻数据的HDFS节能存储策略

• 作者: 杨雷 钟将
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 文件存储 节能 节点分区 文件迁移 节点匹配
• 年，卷（期）: 2015,（12）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 48-53
• 页数: 6页
• 分类号: TP338.8
• 字数: 3956字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2015.12.010

摘要

基于新闻数据的访问规律,提出一种改进的Hadoop分布式文件系统(HDFS),利用数据节点分区、文件迁移和节点待机等策略,使部分无任务的节点处于待机状态,实现系统高效节能存储.改进传统HDFS的写文件机制,将数据块优先写入剩余空间最大且处于活动状态的节点中,使同一时段内创建的文件尽量分散至不同节点,增加节点待机概率,同时解决集群数据分布不均的问题.实验结果表明,应用节能存储策略的HDFS相比传统HDFS可降耗20％以上,且99.9％的文件读取响应时间均不受影响,具有较好的数据存储与访问性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钟将	重庆大学计算机学院	63	631	14.0	23.0
2	杨雷	重庆大学计算机学院	5	13	3.0	3.0