适应冷热数据存储的多编码架构的设计与实证

• 作者: 周扬帆 宫庆媛 沈佳杰 王新 魏学才
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 分布式数据存储 HDFS 编码存储
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 数据工程
• 页码范围: 35-41
• 页数: 7页
• 分类号: TP3
• 字数: 6739字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2017.02.006

摘要

随着互联网技术的发展,数据爆炸性增长,互联网的实际应用也已广泛依赖于海量数据的存储.实际的互联网应用往往需要存储多种类型数据,根据数据被访问频率差异可以将数据划分为冷热数据.然而,现有的编码存储机制往往只能采用固化的实现机制,无法适应多种数据类型的编码存储,导致存储系统性能(如数据访问时间)恶化.考虑到冷热存储数据的不同,提出一种基于多数据编码机制的存储系统框架.对于冷数据,该框架可以采用冗余度较低的编码,从而提高空间利用率;对于热数据,该框架可以采用解码速度较快的编码,从而提高数据访问速度.基于HDFS-RAID设计了这一框架并将之实现为真实系统,实际部署在一个Hadoop集群中.另外基于一个实际系统的用户数据轨迹,在搭建的集群中进行了试验,实验结果表明该框架可以满足不同类型数据同时高效存取的需求,并对编码机制具备高扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏学才	复旦大学计算机科学技术学院	2	5	2.0	2.0
2	周扬帆	复旦大学计算机科学技术学院	2	3	1.0	1.0
3	王新		2	60	2.0	2.0
4	宫庆媛		1	3	1.0	1.0
5	沈佳杰		1	3	1.0	1.0