基于商业银行大数据访问规律的HDFS副本策略优化研究

• 作者: 信怀义
• 来源期刊: 软件
• 学科: 工学
• 关键词: HDFS,商业银行系统,数据副本策略
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 74-79
• 页数: 6页
• 分类号: TP391.41
• 字数: 6468字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2015.11.019

摘要

数据的大规模、多样化特征给存储带来了新的挑战,商业银行系统开始使用Hadoop来支持历史数据归档和在线历史数据查询等功能.HDFS(Hadoop Distributed File System)作为Hadoop中的数据存储实现,为MapReduce、Hive 等数据处理提供数据,在大规模数据存储中应用广泛.但当前的 HDFS,主要从数据安全和数据负载均衡等存储角度出发,采用了静态副本方式存放数据.这种设计缺乏对数据处理时数据读取的考虑,难以充分利用存储资源提供的数据读取性能.本文从提高 HDFS中商业银行系统数据读取性能的角度出发,通过分析商业银行系统进行数据处理时对 HDFS数据读取的规律,利用数据访问频率信息指导数据副本数量的动态调整,并使用实验数据对比说明改进后存储方案相对原有方案的读取速度、网络流量传输等性能优势.实验表明考虑数据访问端的需求,可以减少Hadoop中数据处理读取数据所需的时间,提升数据本地化率,有利于数据存储和处理的性能优化,为后续的存储改进提供可能的方向.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	信怀义	东北财经大学金融学院	12	42	4.0	6.0