一种基于Spark的分布式时态索引方法

• 作者: 张碧莹 王梅 郑晓东 陈德华
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 时态数据 时态索引 Spark 分布式 分段存储
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 102-108,163
• 页数: 8页
• 分类号: TP391
• 字数: 7067字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.05.018

摘要

基于Spark分布式计算平台提出一种分布式时态索引方法.该方法提出时态数据集的分段索引构造策略,对每一分段设计基于Spark的时态索引构建方法及基于Spark RDD的并行查询策略;根据时态查询所涉及的Spark RDD分区模式的不同,将其分为分区独立查询,跨区查询以及跨段查询,并分别针对不同模式的时态查询提出优化的辅助索引结构,提高查询效率;在基准数据上进行实验,验证了所提索引策略的实用性和高效性,同时表明所提方法对数据规模的有效自扩展性以及降低了集群硬件配置需求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈德华	东华大学计算机科学与技术学院	39	220	8.0	13.0
2	王梅	东华大学计算机科学与技术学院	36	264	9.0	14.0
3	张碧莹	东华大学计算机科学与技术学院	4	5	2.0	2.0
4	郑晓东	东华大学计算机科学与技术学院	1	1	1.0	1.0