基于Bloom Filter的去重方法研究

• 作者: 朱丽萍 李洪奇 詹坤林 赵艳红
• 来源期刊: 计算技术与自动化
• 关键词: 信息超载 个性化推荐系统 Bloom Filter
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 计算机软件及应用
• 页码范围: 95-100
• 页数: 6页
• 分类号: TP3
• 语种: 中文

摘要

在个性化新闻推荐系统中,文章去重是一个重要的模块,避免了同一篇文章被重复推荐的现象.在海量用户场景下,采用传统的基于队列的去重方法将会消耗大量的内存.Bloom Filter是一种空间效率很高的随机数据结构,适用于允许有一定误判率的场景.本文基于Bloom Filter,设计双Bloom Filter位数组结构和Bloom Filter位数组链结构.实验证明,基于Bloom Filter位数组链的去重方法,不仅大大降低了程序对服务器内存要求,而且具有较好的灵活性和扩展性.