基于R-树索引的高维相似重复记录检测改进算法

• 作者: 周喜 宋国兴 赵凡 马博
• 来源期刊: 微电子学与计算机
• 关键词: SNM算法 R-树索引 高维空间特性 改进距离算法 数据稀疏性
• 年，卷（期）: 2017,（9）
• 页码范围: 97-102
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文

摘要

经典的相似重复记录检测算法SNM算法随着记录维度的增加,投影过程不仅会导致数据丢失,算法的误差率也会明显增大.针对SNM算法的不足,提出DRR算法,利用R-树构建索引保留记录的高维空间特性,通过聚类减少记录在叶子节点中的比较次数提高效率,同时改进度量记录相似性的距离算法,避免高维数据稀疏性的影响.最后,通过真实数据在不同维度上分别与SNM算法进行对比,验证了算法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周喜	中国科学院新疆理化技术研究所	32	226	10.0	12.0
3	宋国兴	中国科学院新疆理化技术研究所	2	2	1.0	1.0
14	马博	中国科学院新疆理化技术研究所	11	22	3.0	4.0