基于Spark的空间范围查询索引研究

• 作者: 刘娜 刘敏 徐宏 陈业斌
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: Spark系统 大数据 范围查询 SparkSQL组件
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 96-101
• 页数: 6页
• 分类号: TP391
• 字数: 4375字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.02.017

摘要

由于传统的数据处理系统的数据存储与数据处理能力有限,不能满足处理大量数据的需求.为了发挥数据的价值,高效、高性能地处理大量数据集,提出基于Spark系统结合SIMBA的思路共同建立的大数据分析处理系统,基于Spark SQL的查询方式进行检索;在Spark中嵌入索引管理机制,将其封装在RDD内,用于提高查询效率;通过建立线段树存储数据的方式提高数据检索的效率.对于数据预处理时采用RangePartitioner 分区策略的方式对数据进行分区,基于全局过滤和局部索引进行查询.保证该系统在进行查询操作时能够保持高吞吐量和低延迟特性,提高查询效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐宏	安徽工业大学计算机科学与技术学院	14	69	5.0	7.0
2	陈业斌	安徽工业大学计算机科学与技术学院	41	164	6.0	11.0
3	刘娜	安徽工业大学计算机科学与技术学院	1	4	1.0	1.0
4	刘敏	安徽工业大学计算机科学与技术学院	3	10	2.0	3.0