浅谈布隆过滤器在内容管理系统中的应用

• 作者: 单劼 王纯
• 来源期刊: 软件
• 学科: 工学
• 关键词: 计算机工程 布隆过滤器 内容管理系统 爬虫 哈希
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 28-31,43
• 页数: 5页
• 分类号: TP399
• 字数: 4939字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2016.01.008

摘要

内容管理系统的内容采集主要由爬虫进行搜集,但内容重复与否绝大多数情况下是根据内容所在的页面URI 进行判定.作为一个完善的内容管理系统,必须具备对已有内容资源的识别功能.本文通过介绍布隆过滤器,并与传统的判重方式进行对比,同时改进布隆过滤器并应用于内容管理系统的资源判重的功能中,解决了内存占用无限增加,查询时间不断增长,记录内容无法删除等问题,实现了高效快速的资源判重.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王纯		70	457	9.0	18.0
2	单劼	北京邮电大学网络与交换技术国家重点实验室	1	1	1.0	1.0