面向批量处理的大数据检索过滤模型研究

• 作者: 李兆兴 马自堂
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 大数据 检索 过滤 索引结构 多维查询
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 软件与数据库技术
• 页码范围: 183-190
• 页数: 8页
• 分类号: TP391
• 字数: 8821字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2015.9.035

摘要

大数据作为新的战略资源,在信息领域发挥着重要作用.大数据的检索规模往往达到十亿甚至百亿级,导致传统的查询机制效率低下成为常态.因此,提高大数据的查询效率、降低查询负担成为大数据研究的重要方面.为此提出了一种面向批量处理的大数据检索过滤模型IMFM,介绍了其核心思想及工作原理,论证了IMFM对于多维查询的支持,并给出了IMFM的部署策略.在大数据索引结构中的适当位置部署该模型,在检索请求通过节点时对检索请求进行快速过滤,避免无关请求对节点下方索引结构的操作,从而降低检索对性能的消耗.实验证明,在大数据批量处理环境下,该模型可以有效缩短大数据一维和多维查询的路径长度,提高检索效率,大幅减轻大数据存储和处理平台的负担.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马自堂	解放军信息工程大学密码工程学院	22	135	7.0	10.0
2	李兆兴	解放军信息工程大学密码工程学院	3	12	2.0	3.0