多维布隆算法在Redis指纹自动过期中的应用

• 作者: 杜晓旭 贾小云
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 多维布隆算法 Scrapy-Redis 指纹过期 爬虫 亿级规模
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 软件技术与研究
• 页码范围: 33-38
• 页数: 6页
• 分类号: TP311
• 字数: 6299字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.08.006

摘要

针对Scrapy-Redis框架占用空间严重,且Redis一旦键过期就会删除全部去重集合内数据的情况,设计基于多维Bloom过滤器的指纹自动过期算法,并采用Python语言实现.实现后的代码通过替换去重类和修改框架内方法等操作,集成到Scrapy-Redis框架中.在测试阶段,将使用重构后框架与使用Redis散列表设置指纹过期时间的方法进行了对比,结果显示重构后框架更能在大规模爬虫中节省大量空间,同时能够在满足误判率低于万分之一的情况下实现指纹的自动过期.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贾小云	陕西科技大学电子信息与人工智能学院	43	134	6.0	10.0
2	杜晓旭	陕西科技大学电子信息与人工智能学院	2	6	1.0	2.0