基于布隆过滤器的海量数据查询技术的优化与应用

• 作者: 陈旭 饶文
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: MapReduce 布隆过滤器 数据集 MongoDB
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 开发应用
• 页码范围: 68-71,后插1
• 页数: 5页
• 分类号: TP311
• 字数: 5143字
• 语种: 中文

摘要

通过一个用户行为数据分析的案例,说明了布隆过滤器的原理和应用场景.在案例中,需要使用MapReduce框架在海量数据中筛选出付费用户相关的数据,布隆过滤器算法提供了一种快速、有效的实现方法.简述了使用MongoDB内存数据库存储付费用户的解决方案,其搜索效率高,但随着数据量的增加,一对多并发查询给服务端带来的压力会越来越大;如果使用分布式缓存的方法,这时为一对一存取,带来的问题是占用内存增大,如果数据结构选择HashSet,存入量大时,则容易使堆内存溢出,故考虑使用自定义数据结构:布隆过滤器,对其原理和误判率进行了分析,并针对其可能产生的错误数据(“假阳性”)提出消除方案,经实验验证,布隆过滤器占用内存低、查找效率高,解决本类问题极为合适.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	饶文		1	4	1.0	1.0
2	陈旭		1	4	1.0	1.0