基于连接位Minwise Hash的三者相似性估计算法

• 作者: 张祖平 桂卫华 盛鑫海 袁鑫攀 龙军
• 来源期刊: 上海交通大学学报
• 学科: 工学
• 关键词: 三者相似度 三者相似性估计 连接位 信息检索
• 年，卷（期）: 2014,（7）
• 页码范围: 936-941
• 分类号: TP301.6
• 语种: 中文

摘要

计算相似性是信息检索的一个核心基础问题,二者、三者甚至更多集合的相似性估计在相似文档检测、词语相关性、聚类、数据清理等领域有着广泛的应用.连接位Minwise Hash算法作为一种高效、准确的相似性估计算法,能够成倍地减少比对的次数,提升算法性能.通过理论推导,给出基于连接位Minwise Hash的三者相似度无偏估计公式.实验结果显示,在样本大小k=500、相似度阈值R0=0.8时,算法的准确率和召回率均能达到95％以上,并且所需的CPU运行时间仅为b位Minwise Hash三者估计算法的50％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	桂卫华	中南大学信息科学与工程学院	695	7452	38.0	56.0
2	龙军	中南大学信息科学与工程学院	65	387	8.0	16.0
3	张祖平	中南大学信息科学与工程学院	85	617	13.0	21.0
4	袁鑫攀	湖南工业大学计算机与通信学院	14	19	2.0	4.0
5	盛鑫海	湖南工业大学计算机与通信学院	3	2	1.0	1.0