基于概率的大数据查询系统——Probery

• 作者: 伍晋博 宋杰 张莉 鲍玉斌
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 大数据 概率查询 查全概率 分布式文件系统 MapReduce
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 第32届中国数据库学术会议(NDBC 2015)
• 页码范围: 8-12
• 页数: 5页
• 分类号: TP311
• 字数: 5490字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.01.0008

摘要

针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery.Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法.Probery首先将存入系统的数据划分为多个数据分段;然后,根据概率放置模型将各个数据分段的数据存储在分布式文件系统中;最后,对于给定的查询条件,Probery采用一种启发式查询方法进行概率查询.通过与其他主流的非关系型数据管理系统的查询性能进行比较,对Probery进行验证,Probery在损失8％查询完整性的情形下,查询时间较HBase相比节约了51％,较Cassandra相比节约了23％,较MongoDB相比节约了12％,较Hive相比节约了3％.实验结果表明,Probery可以适当地损失查询完整性来提高数据的查询性能,具有较好的通用性、适应性和可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋杰	东北大学软件学院	39	690	14.0	25.0
2	鲍玉斌	东北大学信息科学与工程学院	85	1496	22.0	36.0
3	张莉	东北大学软件学院	32	274	8.0	16.0
4	伍晋博	东北大学软件学院	1	3	1.0	1.0