大数据环境下数据读取关键技术研究

• 作者: 刘新瀚 孙知信 王航 谢怡 陈梓洋
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 大数据 列存储 压缩 物化技术
• 年，卷（期）: 2015,（2）
• 页码范围: 113-116
• 页数: 4页
• 分类号: TP31
• 字数: 3977字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2015.02.026

摘要

针对大数据环境下数据读取面临的主要挑战，文中重点研究了分布式文件系统中数据读取关键技术。根据数据存放结构的不同，从数据加载、查询处理和存储空间利用三个方面分析比较行存储、列存储和行列混合存储的优缺点和面临的挑战，重点介绍列存储中涉及到的压缩和物化技术，具体分析了存储压缩中经常运用的行程编码算法、词典编码算法、位向量编码算法和元组重构中运用的延迟物化技术。通过分析现有技术存在的问题，探讨相关的解决方案，并展望了未来研究的发展方向。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙知信	南京邮电大学宽带无线通信与传感网技术教育部重点实验室	169	1816	21.0	34.0
2	刘新瀚	南京邮电大学宽带无线通信与传感网技术教育部重点实验室	4	22	2.0	4.0
3	谢怡	南京邮电大学宽带无线通信与传感网技术教育部重点实验室	3	18	3.0	3.0
4	王航	南京邮电大学宽带无线通信与传感网技术教育部重点实验室	3	12	2.0	3.0
5	陈梓洋	南京邮电大学宽带无线通信与传感网技术教育部重点实验室	2	15	2.0	2.0