基于相似重复记录检测的特征优选方法研究

• 作者: 曹小峰
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 特征优选 相似重复记录 模糊聚类 相似度 维度
• 年，卷（期）: 2009,（23）
• 所属期刊栏目: 人工智能
• 页码范围: 5492-5495
• 页数: 4页
• 分类号: TP18
• 字数: 4579字
• 语种: 中文

摘要

目前已有的重复记录检测方法大多数基于"排序&合并"的思想,其检测精度不高、执行检测的代价过大.针对这些问题,提出了一种分组模糊聚类的特征优选方法.该方法首先进行分组记录的属性处理,以有效降低记录属性的维数,并获得分组中的代表性记录,然后采用一种相似度比较计算方法进行组内相似重复记录的检测.理论分析和实验结果表明,该方法有较高的识别精度和检测效率,能较好地解决大数据集中相似重复记录的识别问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曹小峰	南通大学计算机科学与技术学院	12	25	3.0	4.0