基于数据摘要奇偶性的集合相似性近似算法

• 作者: 贾建伟 陈峻
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 数据摘要 集合相似性 奇偶性 近似算法
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 人工智能
• 页码范围: 254-256,311
• 页数: 4页
• 分类号: TP391
• 字数: 3200字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2016.6.050

摘要

在应用6位哈希函数近似计算两个集合的Jaccard相似性时,如果有多个元素与输入元素的Jaccard相似性都很高(接近于1),那么6位哈希函数不能对这些元素进行很好的区分.为了提高数据摘要函数的准确性并提高基于相似性的应用的性能,提出了一种基于数据摘要奇偶性的集合相似性近似算法.在应用minwise哈希函数得到两个变异集合后,用两个n位指示向量来表示变异集合中的元素在指示向量中出现的奇偶性,并基于这两个奇偶性向量来估计原集合间的Jaccard相似性.通过马尔科夫链和泊松分布两种模型对奇偶性数据摘要进行了推导,并证明了这两种方法的等价性.Enron数据集上的实验表明,提出的奇偶性数据摘要算法与传统的6位哈希函数相比具有更高的准确性,并且在重复文档检测和关联规则挖掘两种应用中具有更高的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈峻	扬州大学信息工程学院	14	242	5.0	14.0
2	贾建伟	扬州大学信息工程学院	4	0	0.0	0.0